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本 书 从 实用 的 角度 对 软件 测试 进行 了 全 面 的 阐述 ， 讨 论 了 像 极限 测试 和 即兴 测试 这 类 新 兴 


的 领域 。 


本 书 特色 


@ 关注 分 散在 全 球 地 域 的 团队 。 讨 论 全 球 化 团队 的 人 员 、 组 织 结构 和 模型 问题 。 
@ 提供 印度 在 测试 方面 的 丰富 经 验 。 越 来 越 多 的 产品 测试 工作 是 在 印度 完成 的 ， 但 是 研究 印 


度 经 验 或 印度 业务 模型 的 专著 却 很 少 。 本 书 通过 实例 讨论 了 印度 的 最 佳 测试 实践 。 


@ 在 保持 完整 的 理论 体系 基础 上 ， 强 调 实践 经 验 。 本 书 在 介绍 诸如 等 价 类 划分 和 圈 复 杂 度 等 


传统 方法 的 同时 ， 还 讨论 了 测试 的 一 些 实际 问题 ， 例 如 国际 化 测试 和 回归 测试 。 








了 。 印度 班加罗尔 市 的 西 贝尔 系统 公司 质量 工程 部 主任 ， 有 具 
Srinivasan Desikan 有 16 年 的 产品 测试 经 验 ， 所 测试 的 产品 正在 被 全 世界 数 
以 百 万 计 的 客户 使 用 。Srinivasan 在 测试 自动 化 、 测 斌 管理、 测试 过 程 和 测试 团队 建立 等 方面 有 丰富 
的 经 验 。 他 经 常 在 国际 测试 会 议 上 发 表演 讲 ， 定 期 在 多 所 大 学 举办 讲座 。Srinivasan 是 印度 技术 学 院 
的 客座 教授 ， 并 担任 多 家 印度 测试 公司 的 荣誉 董事 主任 。 

独立 咨询 师 ， 班 加 罗 尔 信息 技术 国际 学 院 的 副 教 
Gopalaswamy Ramesh 授 ， 在 印度 和 海外 具有 25 年 的 业界 经 验 ， 曾 经 
担任 过 Oracle 印 度 开 发 中 心 的 高 级 主任 。 他 还 是 获得 过 印度 国家 奖 的 畅销 书 《 管 理 全 球 化 软件 项 目 》 
的 作者 ， 目 前 ， 他 在 为 多 家 印度 和 海外 公司 提供 项 目 管理 和 相关 领域 的 咨询 服务 。 
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本 书 全 面 论述 了 软件 测试 的 基本 原理 和 最 佳 实践 ， 介 绍 了 最 近 出 现 的 极限 测试 和 即兴 
测试 等 新 的 测试 方法 。 本 书 介绍 了 全 球 团队 的 个 人 、 组 织 结 构 和 模型 等 问题 。 在 介绍 综合 
性 理论 知识 的 同时 ， 强 调 实际 经 验 。 本 书 在 介绍 墨盒 测试 和 白 盒 测试 等 传统 方法 的 同时 ， 
还 介绍 了 测试 的 很 多 实际 问题 ， 例 如 国际 化 测试 和 回归 测试 等 。 

本 书 的 突出 特点 是 从 工程 实践 的 角度 ， 比 较 全 面 地 讨论 环 手 问题 的 具体 应 对 方法 和 相 
应 的 风险 ， 站 在 比较 高 的 层次 上 讨论 软件 测试 工程 的 整体 把 握 方 法 。 全 书 在 各 章 附 有 许多 
实际 问题 的 思考 题 ， 帮 助 读者 更 深刻 地 理解 这 些 现实 问题 。 

本 书 可 作为 高 等 院 校 软件 工程 和 测试 方面 的 基础 教材 ， 对 软件 开发 和 测试 人 员 解 决 实 
际 问题 也 有 较 高 的 参考 价值 。 
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图 1-2 早期 阶段 产生 的 缺陷 如 何 使 成 本 增加 
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图 2-3 螺旋 模型 


a) b) 
图 3-4 将 传统 流程 图 转换 为 可 计算 复杂 度 的 流程 图 
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图 7-4 性 能 调谐 结果 曲线 
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图 17-5 实际 投入 分 布 
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图 17-6 测试 用 例 执行 进展 
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高 优先 级 未 解决 缺陷 
图 17-8 缺陷 趋势 


出 版 者 的 话 





文艺 复兴 以 降 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规 范 ， 使 西方 国家 在 自然 科学 的 
各 个 领域 取得 了 垄断 性 的 优势 ， 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 
家 辈出 、 独 领 风 骚 。 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 
学 科 中 的 许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科学 著作 ， 不 仅 壁 
划 了 研究 的 范畴 ， 还 揭示 了 学 术 的 源 变 ， 既 遵循 学 术 规范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 
因 年 月 的 流逝 而 减退 。 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ， 我 国 的 计算 机 产业 发 展 迅猛 ， 对 专业 人 才 的 需求 日 
益 迫 切 。 这 对 计算 机 教育 界 和 出 版 界 都 既是 机 遇 ， 也 是 挑战 ， 而 专业 教材 的 建设 在 教育 战略 
上 显得 举足轻重 。 在 我 国信 息 技术 发 展 时 间 较 短 的 现状 下 ， 美 国 等 发 达 国家 在 其 计算 机 科学 
发 展 的 几 十 年 间 积 淀 和 发 展 的 经 典 教材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国外 优秀 计 
算 机 教材 将 对 我 国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真正 
的 世界 一 流 大 学 的 必由之路 。 

机 械 工业 出 版 社 华章 分 社 较 早 意识 到 “出 版 要 为 教育 服务 ”。 自 1998 年 开始 ， 华 章 分 社 就 
将 工作 重点 放 在 了 以 选 、 移 译 国 外 优秀 教材 上 。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson， 
McGraw-Hill，Elsevier，MIT，John Wiley 久 Sons，Cengage 等 世界 著名 出 版 公司 建立 了 良好 
的 合作 关系 ， 从 他 们 现 有 的 数 百 种 教材 中 甄选 出 Andrew S. Tanenbaum ，Bjarne Stroustrup， 
Brain W. Kernighan, Dennis Ritchie，Jim Gray, Afred V. Aho, John E. Hopcroft, Jeffrey D. 
Ullman, Abraham Silberschatz, William Stallings, Donald E. Knuth, John L. Hennessy, Larry 
L. Peterson 等 大 师 名 家 的 一 批 经 典 作 品 ， 以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 学 习 、 研 
究 及 了 珍藏。 大理 石 纹理 的 封面 ， 也 正体 现 了 这 套 丛 书 的 品位 和 格调 。 

“计算 机 科学 从 书 ” 的 出 版 工作 得 到 了 国内 外 学 者 的 鼎力 襄 助 ， 国 内 的 专家 不 仅 提 供 了 中 
肯 的 选 题 指导 ， 还 不 辞 劳苦 地 担任 了 翻译 和 审 校 的 工作 ， 而 原 书 的 作者 也 相当 关注 其 作品 在 
中 国 的 传播 ， 有 的 还 专程 为 其 书 的 中 译本 作 序 。 迄 今 ,，“ 计 算 机 科学 从 书 ” 已 经 出 版 了 近 两 百 
个 品种 ， 这 些 书籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采用 为 正式 教材 和 参考 书籍 。 
其 影印 版 “经 典 原版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因 素 使 我 们 的 
图 书 有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完善 和 教材 改革 的 逐渐 深 
化 ， 教 育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 入 一 个 新 的 阶段 ， 我 们 的 目标 是 尽善尽美 ， 
而 反馈 的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 分 社 欢迎 老师 和 读者 对 我 们 的 工 
作 提 出 建议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 


华章 网 站 : www.hzbook.com 

电子 邮件 : hzjsj@hzbook.com 

联系 电话 : (010) 88379604 

联系 地 址 : 北京 市 西城 区 百 万 庄 南 街 ] 号 
邮政 编码 ，100037 
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”近年 来 ,已 经 有 不 少 关于 软件 测试 方面 的 专著 和 教材 介绍 到 我 国 ， 我 国 软件 测试 行业 的 
学 者 和 资深 入 士 撰写 的 专著 也 已 面市 。 但 是 ， 目 前 软件 测试 行业 仍 处 于 高 度 依赖 个 人 经 验 和 
直觉 的 状态 ， 教 材 上 介绍 的 测试 方法 多 种 多 样 ， 而 如 何 选择 和 组 合 运用 来 达到 更 好 的 效果 ， 
在 很 大 程度 上 依靠 个 人 的 经 验 。 此 外 ， 软 件 测试 的 成 果 并 没有 很 可 靠 的 、 普 遍 适 用 的 评价 准 
则 ， 经 过 测试 的 软件 所 残留 的 缺陷 并 没有 可 靠 的 方法 验证 。 由 于 决定 软件 测试 项 目 质量 的 因 
素 有 很 多 ， 因 此 不 同 的 测试 项 目 之 间 通 常 并 不 具备 很 强 的 可 比 性 。 所 以 ， 对 于 软件 测试 人 员 
来 说 ， 关 键 的 并 不 在 于 掌握 多 少 测试 技巧 ， 而 在 于 通过 大 量 的 实践 和 思考 ， 对 软件 测试 有 怎 
样 的 理解 和 理念 ， 在 于 怎样 运用 这 些 技巧 。 

本 书 的 突出 特点 是 不 回避 软件 测试 普遍 存在 的 实际 问题 (例如 时 间 压 力 、 风 险 压力 、 人 员 
管理 问题 等 ) ， 从 工程 实践 的 角度 ， 比 较 全 面 地 讨论 了 这 些 环 手 问 题 的 具体 应 对 方法 和 相应 的 
风险 ， 站 在 比较 高 的 层次 上 全 面 地 讨论 了 软件 测试 工程 的 整体 把 握 方法 。 全 书 的 主题 设置 和 
论述 体现 出 作者 在 软件 测试 和 软件 工程 领域 有 丰富 的 实践 经 验 。 每 章 所 附 的 思考 题 大 多 是 实 
际 中 遇 到 的 问题 。 通 过 对 这 些 问 题 的 认真 思考 ， 相 信 读 者 会 对 这 些 现实 问题 有 更 深刻 的 理解 。 

在 翻译 过 程 中 ， 除 了 对 原文 的 个 别 错 误 进行 了 相应 的 更 正 外 ， 我 们 力求 忠实 于 原文 。 但 
是 ， 由 于 译 者 的 知识 水 平和 实际 工作 经 验 有 限 ， 不 当 之 处 在 所 难免 ， 司 请 读者 批评 指正 。 参 
加 本 书 翻译 、 审 校 和 其 他 辅助 工作 的 还 有 李 津 津 、 黄 堪 菊 、 耿 民 和 届 健 。 


译 者 
2008 年 3 月 
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软件 测试 已 经 扩展 到 更 宽 的 领域 ， 并 显现 出 其 重要 性 。 正 如 医药 公司 在 新 药 发 布 之 前 被 要 
求 宣布 他 们 如 何 测试 该 药品 一 样 ， 由 于 顾客 需要 无 缺陷 的 软件 产品 ， 相 关 管 理 部 门 也 要 对 将 
发 布 的 软件 进行 彻底 的 测试 。 市 面 上 的 大 部 分 专著 都 是 理论 方面 的 ， 很 少 有 针对 实际 问题 的 。 
本 书 供 选择 测试 作为 职业 的 学 生 学 习 及 从 业 人 员 参 考 ， 他 们 需要 务实 和 实用 的 测试 视角 ， 以 
及 人 员 、 过 程 和 技术 之 间 的 正确 平衡 。 两 者 结合 形成 了 本 书 的 基础 一 -软件 测试 原理 与 实践 。 

顾名思义 ， 我 们 强调 原理 和 实践 。 本 书 的 素材 已 被 多 所 大 学 ， 比 如 印度 钦 奈 的 安娜 大 学 
和 班加罗尔 的 国际 信息 技术 学 院 进行 “B 测 试 "， 班 加 罗 尔 还 将 本 书 用 作 信 息 技 术 学 院 学 生 的 
教材 以 及 其 软件 工程 卓越 中 心 (Center of Excellence) 的 参考 用 书 。 本 书 的 一 些 概念 已 通过 国 
际会 议和 作者 的 客座 演讲 提供 给 从 业者 。 

我 们 增加 了 管理 地 理 上 分 散 的 团队 的 章节 ， 这 尤其 适用 于 跨国 公司 ， 他 们 的 团队 分 散在 
世界 不 同 的 大 洲 协 调 同 步 开 发 、 测 试 和 交付 产品 给 全 球 的 客户 。 本 书 也 包括 了 像 极 限 测试 、 
即兴 测试 等 顺应 新 趋势 的 测试 。 

本 书 的 内 容 可 供 从 业者 理解 测试 行业 的 最 新 状态 。 新 增 的 关于 指标 与 度量 、 测 试 策划 、 
测试 管理 及 测试 自动 化 等 章节 ， 帮 助 从 业者 在 工作 中 采用 这 些 概念 。 我 们 是 在 研究 了 不 同 大 
学 的 教学 大 纲 后 编制 此 书 的 ， 因 此 学 术 上 是 十 分 严谨 的 。 

非常 感谢 印度 钦 奈 eFunds 公 司 的 测试 经 理 Gayathri Chandrasekar 女 士 ， 本 书 许多 章节 都 有 
她 的 贡献 。 
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zu 
员 


当今 世界 ， 软 件 变 得 无 处 不 在 。 消 费 者 对 此 的 期 望 大 幅度 增加 ,“ 软 件 出 错 很 正常 ， 我 们 
必须 接受 这 个 事实 ”的 旧 观 点 已 经 不 再 通用。 如今， 人们 期 望 软件 能 每 时 每 刻 地 正常 运行 ， 
并 且 要 满足 客户 不 断 变化 的 需求 。 早 先 ， 软 件 系统 用 于 后 台 管 理 服务 和 非 关键 业务 的 操作 。 
现在 ， 越 来 越 多 的 关键 应 用 都 在 全 球 实现 。 对 无 差错 运行 软件 期 望 的 提高 ， 导 致 了 对 软件 供 
应 商 高 品质 产量 需求 的 增长 。 反 过 来 ， 在 过 去 十 几 年 中 ， 市 场 关 注 的 焦点 已 从 单纯 的 编程 和 
开发 转向 更 全 面 的 目标 : 生产 的 软件 一 直 正 常 工作 ， 因 而 更 加 关注 对 软件 的 测试 。 

在 过 去 的 十 几 年 中 ， 测 试 已 经 引起 人 们 的 极 大 兴趣 。 以 下 列举 一 些 事实 : 

。 测试 工作 量 的 成 倍增 加 提供 了 广阔 的 职业 发 展 机 会 ; 

。 测试 相关 职位 的 薪资 正在 上 升 ; 

。 测试 已 经 成 为 重要 的 外 包机 会 ， 

。 过 去 五 年 ， 关 于 测试 的 会 议和 其 他 类 似 活动 有 了 明显 的 增加 ， 

。 越 来 越 多 的 专业 人 士 考虑 把 软件 测试 作为 职业 。 

测试 的 工作 方法 为 了 跟 上 需求 的 增加 也 经 历 了 彻底 的 改变 。 首 先 ， 全 球 化 是 持久 的 。 现 
在 的 组 织 利 用 地 域 时 差 和 全 球 的 人 才 ， 向 各 大 洲 派 遗 开 发 和 测试 团队 ， 这 些 团队 共同 无 缝 地 
工作 。 为 了 成 功 地 推动 这 种 新 的 全 球 化 运作 方式 ， 公 司 必须 掌握 异地 分 布 团队 这 项 工作 的 艺 
术 。 其 次 ， 测 试 已 经 从 即兴 和 偶然 的 尝试 ， 转 变 为 一 项 系统 的 、 有 计划 的 活动 ， 以 完成 所 有 
过 程 并 且 通 过 科学 的 度量 。 第 三 ， 现 在 成 功 的 测试 需要 谨慎 地 利用 各 种 技术 ， 满 足 产 品 上 市 
时 间 的 要 求 。 贯 穿 于 测试 生命 周期 的 测试 自动 化 也 已 经 成 为 必需 品 而 不 是 奢侈 品 。 最 后 ， 人 
们 对 测试 职业 的 看 法 也 经 历 了 一 种 巨变 一 一 成 功 的 公司 应 为 测试 专业 人 士 提供 职业 发 展 途 径 ， 
鼓励 他 们 发 挥 聪明 才智 ， 以 保证 他 们 能 够 长 期 供职 于 该 公司 和 从 事 软件 测试 这 个 职业 。 

本 书 及 时 满足 了 测试 从 业 人 员 的 需要 ， 同 时 鼓舞 了 有 志 投 身 测试 行业 的 专业 人 士 和 学 生 。 
Ramesh 和 Srinivasan 已 经 把 他 们 40 年 的 实际 从 业经 验 带 给 了 大 家 。 本 书包 含 了 某 些 对 行业 成 功 
至 关 重 要 的 方面 ， 而 这 些 方面 在 其 他 书 中 很 少 涉及 ， 例 如 : 

。 理论 和 实践 之 间 的 平衡 : 很 多 书 都 努力 给 出 严谨 的 理论 ， 试 图 把 现实 中 的 问题 简单 化 。 

而 本 书 作者 坚持 从 现实 世界 存在 的 事实 着 手 ， 提 供 解 决 现实 问题 所 需 的 理论 基础 。 

。 人员、 过 程 和 技术 问题 之 间 的 平衡 : 成 功 的 公司 有 条 不 率 地 工作 ， 充 分 利用 技术 并 且 

提升 人 员 的 能 力 。 作 者 成 功 地 抵制 住 了 以 牺牲 实用 性 为 代价 ， 只 讨论 “很 酷 的 技术 问 

题 ” 的 诱惑 。 例 如 ， 本 书 讨论 了 像 自 动 化 (技术 密集 )、 人 和 组 织 结构 (以 人 为 本 )、 

测试 组 织 和 报告 (注重 过 程 ) 这 样 的 问题 。 

。 从 从 业者 务实 的 观点 展示 出 一 个 坚实 的 基础 : 作者 广泛 地 讨论 了 各 种 不 同类 型 的 测试 。 

例如 ， 详 细 讨 论 了 像 国 际 化 这 样 难 懂 的 主题 。 

。 本 书 是 我 知道 的 第 一 本 意识 到 并 清楚 提出 全 球 化 的 重要 性 、 明 确 讨论 全 球 化 的 团队 结 

构 和 因此 带 来 的 各 种 可 能 问题 的 书 。 这 清晰 地 表明 作者 作为 全 球 化 软件 测试 团队 的 主 
要 领导 所 积累 的 管理 经 验 。 

。 本 书 涵盖 了 一 些 公认 的 测试 方法 ， 这 些 测试 方法 已 多 次 在 世界 各 地 的 国际 测试 会 议 上 

提出 并 被 接受 。 





VII 


除了 以 上 这 些 ， 每 章 最 后 所 附 的 实用 练习 向 读者 揭示 了 测试 的 真 诺 。 作 者 全 学 期 测试 课 
程 的 教学 经 验 在 各 种 练习 中 得 到 充分 体现 。 我 坚信 ， 随 着 本 书 的 出 版 ， 这 类 课程 会 推广 到 各 
类 高 校 ， 使 软件 测试 形成 一 门 学 科 ， 拓 宽 开发 更 具 竞争 力 的 测试 职业 网 络 。 

我 希望 本 书 及 其 作者 不 断 营造 一 种 环境 的 努力 获得 成 功 ， 在 这 种 环境 中 ， 软 件 测 试 被 认 
为 是 任何 软件 开发 生存 周期 的 一 个 关键 阶段 ， 测 试 职业 被 认为 具有 很 高 价值 ， 测 试 被 发 展 为 
一 门 工程 学 科 。 


Vikram Shah 








Vikram Shah 目 前 是 Silver Software 和 IT-People 管 理 委 员 会 的 主任 ， 是 BiTES 
(Karmataka 州 政府 成 立 的 IT 教育 标准 管理 委员 会 ) 的 一 位 积极 成 员 。Vikram Shah 具 有 30 多 
年 的 业界 经 验 ， 在 多 家 公司 (例如 Mahindra British Telecom、Novell、Andiamo Software 和 
Talisma Software) 担任 过 CEO 和 M.D.。 
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本 部 分 为 全 书 制定 的 写作 线索 。 第 1 章 讨论 最 近 几 年 软件 行业 的 变化 ， 以 及 这 些 变 化 对 软 
件 质量 提出 的 要 求 。 本 书 将 这 些 要 求 转换 为 十 一 个 基本 原理 ， 以 此 作为 本 书 其 他 各 章 的 中 心 。 
第 2 章 定义 验证 、 确 认 、 质 量 保证 和 质量 控制 等 关键 术语 ， 然 后 详细 讨论 各 种 生存 周期 模型 ， 
以 及 这 些 模型 对 验证 和 确认 活动 的 意义 。 本 部 分 还 要 介绍 关于 进入 和 退出 准则 的 概念 ， 这 对 
于 理解 书 中 后 面 关于 测试 的 不 同 阶 段 是 非常 必要 的 。 


第 ] 草 测试 原理 


1.1 生产 软件 中 的 测试 背景 


我 们 今天 使 用 的 几乎 一 切 东 西 都 包含 软件 。 在 软件 发 展 的 早期 ， 软 件 用 户 的 数量 与 大 公 
司 相 比 还 是 很 少 的 。 现 在 ， 一 个 典型 的 工作 场所 (或 家 里 )， 差 不 多 每 个 人 都 在 使 用 计算 机 及 
软件 。 管 理 人 员 使 用 生产 率 很 高 的 办 公 软 件 (代替 以 前 的 打字 机 )。 会 计 师 及 财务 人 员 使 用 电 
子 表格 软件 和 其 他 财务 软件 包 ， 比 使 用 计算 器 (其 至 手工 ) 要 快 得 多 。 公 司 和 家 里 的 每 个 人 
都 用 电子 邮件 和 互联 网 进行 娱乐 、 教 育 、 通 信和 交互 ， 获 取 任 何 想 要 的 信息 。 男 外 , “技术 ” 
人 员 使 用 程序 设计 语言 、 建 模 工具 、 仿 真 工 具 和 数据 库 管理 系统 完成 以 前 主要 靠 手 工 完成 的 
任务 。 

和 上 面 只 是 说 明 软件 的 使 用 对 于 用 户 来 说 “很 明显 ”的 儿 个 例子 。 

i 但 是 , 软件 的 无 处 不 在 和 广泛 普及 远 不 止 以 上 这 些 例子 所 揭示 的 那样 。 

现在 的 软件 就 像 20 世 纪 初 的 电 一 样 普及 。 我 们 在 办 公 室 和 家 庭 所 使 用 

的 几乎 每 一 台 设 备 都 台 入 大 量 的 软件 ， 例 如 手机 、 电 视 、 手 表 和 冰箱 以 及 厨房 的 每 一 件 电 器 
都 有 骨 入 式 软件 。 

另 一 个 值得 注意 的 现象 是 软件 在 任务 关键 场合 的 使 用 ， 在 这 些 场合 出 现 失效 是 根本 不 能 
接受 的 。 对 于 心脏 起 搏 器 软件 ， 决 不 能 提议 “请 关机 并 重启 系统 ”! 我 们 离 不 开 的 几乎 所 有 
服务 中 都 有 软件 。 银 行 、 航 空 管制 、 汽 车 等 ， 驱 动 它们 的 软件 都 是 绝对 不 能 失效 的 。 这 些 软 
件 系统 必须 每 时 每 刻 、 永 久 、 可 靠 、 可 预见 地 运行 。 

这 些 无 所 不 在 、 广 泛 使 用 和 关键 之 处 都 对 软件 的 开发 和 部 署 提出 了 一 定 的 要 求 。 

首先 ， 开 发 软件 产品 或 提供 服务 的 公司 必须 尽 全 力 减 少 、 最 好 消除 每 件 所 交付 的 软件 产 
品 或 服务 中 的 缺陷 。 用 户 越 来 越 不 能 容忍 劣质 的 软件 产品 。 从 软件 开发 公司 的 角度 看 ， 发 布 
有 缺陷 的 软件 产品 在 经 济 上 也 不 是 可 行 的 。 比 如 ， 在 电视 机 发 运 给 成 千 上 万 的 用 户 后 ， 其 中 
的 嵌入 式 软件 被 发 现 有 一 个 缺陷 。 怎 么 可 能 发 送 “ 补 丁 ” 给 这 些 用 户 ， 要 求 他 们 “安装 补 
丁 ”? 因此 ， 唯 一 的 解决 方案 是 在 产品 交付 用 户 之 前 就 一 次 做 好 。 

第 二 ， 缺 陷 不 可 能 隐藏 很 久 。 当 用 户 数量 有 限 ， 并 且 使 用 产品 的 方式 是 可 预期 的 〈 高 度 
受 限 的 ) ， 软 件 产品 中 存在 的 缺陷 可 能 发 现 不 了 ， 并 隐藏 很 长 时 间 。 但 是 ， 随 着 用 户 数量 的 增 
加 ， 缺 陷 不 被 发 现 的 几率 越 来 越 小 。 如 果 产 品 中 存在 缺陷 ， 总 有 一 天 有 人 会 发 现 它 。 

第 三 ， 一 个 软件 产品 或 服务 的 使 用 特性 正在 变 得 越 来 越 不 可 预知 。 如 果 软 件 是 为 一 个 特 
定 公司 的 特定 功能 (例如 工资 管理 软件 包 ) 专门 开发 的 ， 那 么 产品 的 使 用 特性 是 可 以 预期 的 。 
例如 ， 用 户 只 能 执行 定制 软件 所 提供 的 特定 功能 。 此 外 ， 软 件 的 开发 者 了 解 用 户 、 了 解 用 户 
的 业务 活动 及 操作 。 另 一 方面 ， 请 考虑 驻 留 在 互联 网 上 的 一 般 应 用 程序 。 开 发 者 没 办 法 控制 
用 户 的 操作 。 用 户 可 能 运行 没有 测试 过 的 功能 ， 可 能 使 用 的 是 不 合适 的 硬件 或 软件 环境 ， 可 
能 没有 受过 完整 培训 就 直接 以 不 正确 的 方式 或 没有 目的 地 操作 软件 。 尽 管 存在 所 有 这 些 “ 误 
操作 ”， 软 件 应 该 仍 能 正确 运行 。 
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最 后 ， 对 每 一 个 缺陷 的 结果 和 影响 都 要 进行 分 析 ， 尤 其 是 关键 任务 应 用 程序 。 软 件 发 布 
时 可 以 接受 的 是 99.9% 的 缺陷 修复 率 ， 只 遗留 0.1% 的 缺陷 。 看 起 来 对 于 发 布 的 软件 这 是 一 个 
不 错 的 统计 数字 。 可 是 ， 如 果 我 们 在 关键 任务 应 用 软件 中 留 下 了 0.1% 的 缺陷 ， 那 么 统计 数据 
将 如 下 所 示 。 

。 每 周 会 有 10 000 个 不 合格 的 外 科 手 术 。 

。 每 天 会 有 3 架 飞 机 坠毁 。 

。 每 周 有 5 个 小 时 没有 电 。 

确实 ， 上 述 数据 对 于 任何 个 人 、 组 织 或 政府 都 是 不 可 接受 的 。 我 们 提出 一 种 补救 措施 ， 
例如 “万 一 着 火 ， 请 穿 这 件 衣 服 ”， 或 者 在 文档 中 写 明 失效 ， 例 如 “假如 飞机 着 陆 有 误 ， 你 可 
能 只 会 损失 部 分 器 官 *， 这 些 对 于 关键 任务 应 用 程序 来 说 都 是 不 可 接受 的 。 

本 书 关注 软件 测试 。 在 传统 意义 上 ， 测 试 被 狭义 地 定义 为 测试 程序 代码 。 我 们 更 愿意 采 
用 一 种 更 广义 的 测试 定义 ， 它 包含 所 有 生产 优质 产品 的 相关 活动 。 生 产 软 件 产品 必须 有 几 个 
阶段 (例如 需求 获取 、 设 计 和 编码 )， 除 此 之 外 还 有 测试 (传统 意义 的 测试 )。 虽 然 测试 肯定 
是 促成 产品 高 质量 的 因素 之 一 (也 是 一 个 阶段 )， 但 是 测试 本 身 却 不 能 提高 产品 的 质量 。 对 于 
一 个 好 的 产品 ， 测 试 与 其 他 阶段 恰当 的 交互 是 必 不 可 少 的 。 图 1-1 描 述 了 这 些 交 互 及 其 产生 的 
影响 。 

如 果 其 他 阶段 的 质量 较 低 ， 测试 的 有 差 的 上 游 活动 需要 | 合适 的 平衡 ， 促 进 
效 性 也 很 低 (图 1-1 左 下 角 的 情况 )， 这 种 Ml 严重 依赖 测试 发 现 并 团队 工作 ， 向 客户 交 
情况 是 不 能 持久 的 。 因 为 这 样 的 产品 将 很 | 修改 人 人 Le 
快 被 淘汰 。 其 他 阶段 质量 很 低 而 试图 通过 
加 强 测试 来 弥补 (图 1-1 的 左上 角 ) 可 能 
加 每 个 人 的 压力 ， 尤 其 是 产品 将 要 发 布 时 
发 现 了 缺陷 。 类 似 地 ， 宦 目地 相信 其 他 阶 
段 的 高 质量 从 而 进行 较 少 的 测试 (图 1-1 的 
右 下 角 )， 当 最 后 一 刻 发 现 缺陷 时 将 导致 不 
可 预见 的 危险 情形 。 理 想 的 状态 是 包括 测 
试 在 内 的 所 有 阶段 的 高 质量 (图 1-1 的 右上 





测试 的 有 效 性 





其 他 阶段 的 质量 
图 1-1 测试 的 有 效 性 与 其 他 阶段 质量 的 关系 


角 )。 这 种 情况 下 ， 用 户 会 感到 高 质量 带 来 的 好 处 ， 这 将 激发 团队 更 好 地 工作 ， 公 司 获得 成 功 。 


1.2 本 章 介绍 


本 章 讨论 测试 的 一 些 基本 原理 。 我 们 认为 这 些 原 理 对 于 理解 测试 目的 ， 给 用 户 提供 高 质 
量 的 产品 来 说 是 十 分 重要 的 。 这 些 原 理 同时 构成 本 书 其 余部 分 的 基础 。 本 章 是 本 书 的 核心 。 

测试 的 基本 原理 有 : 

1. 测试 的 目标 是 在 用 户 发 现 缺陷 之 前 找到 它们 。 

2. 穷尽 的 测试 是 不 可 能 的 ， 程 序 测试 只 能 说 明 缺 陷 的 存在 ， 决 不 能 说 明 没有 人 缺陷 。 

3. 测试 贯穿 于 全 部 软件 生存 周期 ， 并 且 不 是 周期 结束 前 的 最 后 一 个 活动 。 

4. 理解 测试 背后 的 原因 。 

5. 首先 测试 测试 用 例 。 

6. 测试 用 例 需 要 逐步 完善 、 不 断 修订 。 

7. 缺陷 成 群集 中 出 现 ， 因 此 测试 应 该 关注 这 些 缺 陷 群 。 
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8. 测试 包括 缺陷 预防 。 

9. 测试 是 缺陷 预防 和 缺陷 检测 之 间 的 精心 平衡 。 

10. 智能 的 和 经 过 良好 策划 的 自动 化 是 实现 测试 效益 的 关键 。 

11. 测试 需要 具有 天 分 、 有 具有 自信 和 信任 团队 的 非常 投入 的 人 才 。 

我 们 将 在 随后 的 章 市 中 阐述 这 些 原理 。 我 们 在 适当 的 时 候 将 用 一 个 信息 技术 领域 以 外 的 
小 故事 阐明 这 些 原理 ， 以 帮助 读者 理解 。 


1.3 不 完善 的 车 


汽车 销售 员 : “这 辆 车 是 完好 的 ， 你 只 需要 刷 漆 即 可 。” 





不 管 开发 什么 软件 ， 最 终 都 要 满足 客户 的 需要 。 除 此 之 外 的 一 切 都 是 次 要 的 。 测 试 是 确 
保 产 品 满足 客户 需要 的 一 种 手段 。 

我 们 要 给 “客户 ”下 个 广泛 的 定义 。 客 户 不 仅 指 外 部 客户 ， 也 包括 内 部 客户 。 例 如 ， 如 
果 产 品 是 用 公司 内 部 不 同 小 组 开发 的 组 件 组 成 的 ， 那 么 这 些 不 同 组 件 的 用 户 就 应 该 被 认为 是 
客户 ， 即 使 他 们 来 自 同一 个 公司 。 这 种 客户 视角 可 以 提高 包括 测试 在 内 的 所 有 活动 的 质量 。 

我 们 把 内 部 客户 的 概念 作 进一步 拓展 : 开发 团队 认为 测试 团队 是 其 内 部 客户 。 这 样 可 以 
保证 产品 的 构建 不 仅 针对 使 用 需求 ,而 且 针 对 测试 需求 。 这 种 观念 可 提高 产品 的 “可 测试 性 ”， 
还 可 改善 开发 团队 和 测试 团队 之 间 的 交互 。 


销售 代表 /工程 师 : “这 部 车 有 最 好 的 变速 器 和 制动器 ， 它 从 静 。 
止 加 速 到 每 小 时 80 英 里 不 到 20 秒 | ” /A 





\ 
Se sD) 
顾客 :“ 噢 ， 这 有 可 能 是 真 的 ， 但 是 不 幸 的 是 当 我 踊 乔 车 的 时 < 
候车 速 却 变 得 更 快 了 ! ” 








我 们 希望 读者 不 要 最 后 把 这 两 个 观点 ， 即 客户 观点 和 质量 观点 ， 看 作 是 附加 的 观点 ， 而 
应 该 贯穿 到 本 书 从 头 到 尾 讨论 的 所 有 活动 和 组 件 中 。 
如 果 我 们 的 工作 是 给 客户 提供 一 部 完好 的 车 (并 且 不 要 求 用 户 刷 漆 )， 我 们 要 确保 车 如 用 
， 户 所 期 望 的 那样 工作 , 没有 任何 (大 的 ) 毛病 ， 那 么 就 要 保证 我 们 自 
测试 应 该 在 用 户 没 已 找 到 并 改正 车 的 所 有 缺陷 。 这 就 是 测试 的 根本 目标 。 我 们 在 做 任何 
有 发 现 缺 陷 前 找到 它们 。 ”测试 工作 时 都 必须 记 住 这 一 点 。 


1.4 Dijkstra 定律 


假设 一 段 接受 六 个 字符 密码 的 程序 ， 并 保证 第 一 个 字符 必须 是 数字 ， 其 余 字 符 是 字符 数 
字 型 的 。 如 果 我 们 的 目标 是 穷尽 测试 ， 那 么 需要 测试 多 少 个 输入 数据 的 组 合 呢 ? 

第 一 个 字符 可 能 有 10 种 方式 (数字 0~ 9)。 第 二 到 第 六 个 字符 每 一 个 字符 都 可 能 有 62 种 方 
式 (数字 0 一 9， 小 写字 母 a 一 z， 大 写字 母 A ~Z)。 这 就 意味 着 总 共有 10 x (627) 或 9 161 328 
320 个 有 效 组 合 要 测试 。 假 设 每 一 个 组 合用 10 秒 测试 ， 测 试 这 些 所 有 有 效 组 合 将 用 2905 年 ! 
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因此 ， 在 2905 年 后 ， 我 们 可 以 得 出 结论 ; 所 有 的 有 效 输入 都 是 可 以 接受 的 。 但 是 这 不 是 
故事 的 结束 ， 当 我 们 输入 无 效 数据 ， 程 序 又 会 发 生 什么 呢 ? 继续 上 面 的 例子 ， 如 果 假定 有 10 
个 标点 符号 ， 那 么 我 们 将 用 44 176 年 测试 所 有 有 效 和 无 效 的 输入 组 合 。 

所 有 这 些 仅 是 验证 一 个 字段 ， 并 穷尽 测试 。 显 然 ， 穷 尽 测 试 一 个 现实 的 程序 是 永远 也 做 
不 到 的 。 

上 述 这 些 都 意味 着 只 能 选择 测试 用 例 的 一 个 子 集 来 测试 。 为 了 增加 测试 的 有 效 性 ， 应 访 
选择 最 有 可 能 发 现 错误 的 子 集 。 本 书 第 4 章 和 第 3 章 将 讨论 一 些 等 价 类 划分 、 边 界 值 分 析 、 代 
码 路 径 分 析 等 技术 ， 以 帮助 确定 测试 用 例子 集 ， 从 而 增加 发 现 缺陷 的 可 能 性 。 

然而 ， 不 管 选 择 哪 些 测试 用 例子 集 ， 都 不 能 100% 地 保证 没有 遗 人 
留 缺 陷 。 另 一 方面 ， 引 用 一 句 老话 ， 除 了 死亡 和 税收 外 没有 任何 事情 ” 6 多 存在 ， 但 绝 不 能 证 明 
是 确定 的 ， 但 是 我 们 还 是 活着 ， 并 通过 明智 地 把 握 不 确定 性 来 做 其 他 。 奴 隐 不 存在 。 
事情 。 


1.5 及 时 测试 


产品 中 的 缺陷 可 能 来 自任 何 阶段 。 当 获得 最 初 需求 时 就 可 能 存在 错误 。 如 果 错 误 的 或 不 
完整 的 需求 构成 设计 和 开发 产品 的 基础 ， 那 么 最 终 产品 的 功能 就 不 可 能 正确 。 类 似 地 ， 当 产 
品 设计 即 构成 产品 开发 〔 即 编码 ) 的 基础 是 有 缺陷 的 ， 那 么 缺陷 设计 产生 的 代码 将 不 符合 需 
求 。 因 此 ， 一 个 必要 的 条 件 是 软件 开发 需求、 设计 、 编 码 等 ) 的 任何 阶段 都 能 发 现 并 修正 
本 阶段 的 缺陷 ， 不 能 让 缺陷 传递 到 下 个 阶段 。 

我 们 看 缺陷 传递 的 潜在 成 本 。 如 果 在 需求 获取 阶段 所 获取 的 需求 是 有 错误 的 ， 而 这 个 错 
误 直 到 产品 交付 给 用 户 时 都 没有 发 现 ， 那 么 公司 会 遭受 以 下 额外 的 损失 : 

。 基 于 错误 的 需求 做 出 错误 的 设计 ， 

。 在 编码 阶段 将 错误 的 设计 传递 到 错误 的 代码 中 ， 

。 测 试 保证 产品 符合 (错误) 的 需求 ， 

。 发 布 的 产品 带 着 错误 的 功能 。 

在 图 1-2 中 ,需求 中 的 缺陷 用 深 灰色 方 框 表示 。 从 图 1-2 可 以 看 出 ， 这 些 深 灰 色 方 框 一 直 传 
递 到 随后 的 三 个 阶段 ， 即 设计 、 编 码 和 测试 中 。 


设计 阶段 











编码 阶段 


测试 阶段 





图 1-2 早期 阶段 产生 的 缺陷 如 何 使 成 本 增加 


当 测 试 阶 段 完 成 后 有 环 症 的 产品 送 达 用 户 手中 ， 用 户 可 能 遭受 停产 带 来 的 商业 损失 。 反 
映 到 软件 生产 组 织 将 是 信誉 的 形 失 。 除 了 信誉 损失 ， 软 件 开 发 组 织 为 了 纠正 问题 ， 将 不 得 不 


6 种 一 部 分 写作 线索 








重 做 列表 中 所 有 的 步骤 。 

类 似 地 ， 如 果 在 设计 阶段 存在 缺陷 (尽管 需求 获取 是 正确 的 ， 彩 图 图 1-2 中 用 黄色 表示 )， 
那么 以 后 各 阶段 (编码 、 测 试 等 ) 的 成 本 会 成 倍增 加 。 但 是 ， 这 个 成 
本 比 第 一 种 情况 在 需求 获取 阶段 出 问题 的 成 本 要 低 。 这 是 因为 设计 错 
误 只 能 传递 到 编码 和 测试 阶段 。 类 似 地 ， 编 码 的 缺陷 只 能 传递 到 测试 
阶段 。 同 样 ， 可 以 预期 编码 阶段 的 缺陷 影响 较 少 (相对 需求 缺陷 和 设 
一 -一 计 缺 陷 ， 彩 图 图 1-2 中 用 绿色 表示 )。 早 致 的 费用 比 前 儿 个 阶段 要 少 。 

从 上 述 讨论 可 以 推断 出 ， 缺 陷 导 致 的 费用 随 着 检测 出 缺陷 时 间 的 拖延 而 增加 。 

因此 ， 在 缺陷 注入 〈 缺 陷 被 引入 ) 和 

检测 缺陷 〈 遇 到 缺陷 并 改正 缺陷 ) 之 间 相 

隔 的 时 间 越 短 ， 不 必要 的 费用 就 越 少 。 因 

此 ， 尽 可 能 早 地 发 现 缺 陷 是 非常 重要 的 。 

行业 数据 已 经 再 次 肯定 了 这 些 发 现 。 虽 然 

关于 缺陷 检测 延迟 造成 的 成 本 并 没有 公认 

的 结论 ， 但 是 需求 阶段 引入 的 缺陷 如 有 果 最 

终 出 现在 发 布 的 产品 中 ， 其 导致 的 费用 将 

是 在 需求 阶段 内 发 现 并 改正 缺陷 的 上 千 倍 ， 


构造 产品 的 成 本 及 
产品 中 的 缺陷 数量 随 着 
缺陷 数量 传递 到 下 一 阶 
段 而 急剧 增加 。 





epee terrence ett ti eeeneoorietereeetomeee 


需求 设计 编码 测试 交付 后 





请 参考 图 1-3。 图 1-3 缺陷 对 软件 成 本 的 综合 作用 
1.6 圣人 和 猫 





年 。 一 天 ， 寺院 里 没有 猫 了 。 门 徒 们 惊 性 失措 到 处 寻找 ， 说 : 
“我 们 需要 猫 。 有 了 猫 ， 我 们 才能 用 篮子 把 它 扣 起 来 ， 这 样 圣人 





一 个 圣人 坐 着 思考 。 一 只 猫 走 来 走 去 打 断 了 他 的 沉思 。 于 
是 ， 他 叫 门 徒 在 他 沉思 时 用 篮子 把 猫 扣 住 。 此 后 ， 每 次 圣人 思 2 
考 都 要 把 猫 扣 住 。 这 变 成 了 一 种 日 常规 程 ， 一 代 代 地 传 了 很 多 /dp 
才能 思考 ! 





测试 首先 要 明白 测 什么 ， 正 确 的 结果 是 什么 和 为 什么 要 执行 这 些 测试 。 如 果 不 明白 为 什 
么 就 执行 测试 ， 最 后 就 会 执行 不 合适 的 测试 ， 不 能 检查 产品 所 应 该 做 的 。 事 实 上 ， 有 了 时 为 确 
保 测试 成 功 而 修改 产品 ， 甚 至 产品 被 改 得 不 能 满足 用 户 的 需要 ! 

理解 为 什么 要 测试 某 些 特定 功能 就 引出 不 同 的 测试 类 型 ， 将 在 第 二 部 分 介绍 。 我 们 做 白 
全 测试， 检查 代码 中 的 各 种 路 径 ， 以 确保 代码 的 正确 运行 。 知 道 给 定 

为 什么 避 这 ”的 寺 测试 用 例会 执行 哪些 代码 ， 就 能 对 其 进行 必要 的 修改 ， 以 确保 著 盖 合 
人 和 适 的 路 径 。 知 道 产品 的 外 部 功能 ， 就 可 以 设计 黑 盒 测 试 。 集 成 测试 用 
一 于 确保 不 同 组 件 能 够 组 合 在 一 起 。 国 际 化 测试 确保 产品 能 够 在 世界 各 

地 多 种 语言 环境 中 正常 运行 。 回 归 测试 用 于 确保 变更 与 设计 要 求 的 一 样 ， 没 有 任何 意外 的 副 

作用 。 
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1.7 首先 测试 测试 用 例 





一 个 耳 科 医生 要 检查 他 的 病人 ， 告 诉 她 :“ 我 想 测 一 下 你 能 听 多 远 。 我 从 不 同 的 
距离 问 你 的 名 字 ， 你 来 回答 。 请 转 过 身 准备 回答 。” 病 人 明白 了 需要 做 什么 。 
医生 : (从 30 英 尺 外 ): 你 叫 什么 名 字 ? 


医生 : (从 20 英 尺 外 ) : 你 叫 什 么 名 字 ? 
医生 : (从 10 英 尺 外 ) : 你 叫 什 么 名 字 ? 
病人 : 第 三 次 了 ， 我 再 说 一 边 ， 我 的 名 字 巴 Sheelal 








从 上 述 例子 看 出 ， 很 明显 医生 而 不 是 病人 的 听力 有 问题 。 不 知道 医生 会 不 会 认为 病人 不 
能 在 20 英尺 和 30 英尺 听见 问 话 而 为 病人 开 了 治疗 处 方 。 

测试 用 例 就 像 程序 和 文档 一 样 ， 也 是 人 类 生产 的 产品 。 我 们 也 不 能 确保 测试 用 例 是 完 
的 。 重 要 的 是 要 在 测试 之 前 确保 测试 用 例 本 身 没有 问题 。 确 保 测试 用 例 本 身 已 通过 检测 的 一 
种 方法 是 ， 对 于 一 个 特定 的 测试 用 例 ， 把 输入 和 预期 的 输出 文档 化 ， 二 
请 专家 确认 这 些 文档 的 有 效 性 ， 也 可 以 通过 一 些 外 部 方法 反 向 检查 测 wa 天 
试用 例 。 例 如 ， 给 定 一 个 已 知 的 输入 值 ， 并 且 单独 跟踪 程序 或 进程 的 。 有 款 隐 的 测试 用 例 比 有 雪 隐 
执行 路 径 ， 就 可 以 手工 确定 预期 的 输出 。 通 过 比较 这 “已 知 正确 的 结 的 产品 更 危险 ! 
果 ” 和 产品 产生 的 结果 ， 可 以 增加 测试 用 例 和 被 测 产品 的 可 信 水 平 。 第 3 章 将 讨论 评审 和 审查 
实践 ， 以 及 测试 策划 ， 第 15 章 将 讨论 测试 测试 用 例 的 方法 。 


1.8 杀 虫 剂 悖 论 








每 年 ， 各 种 各 样 的 害虫 袭击 田野 和 农作物 。 农 业 专 家 们 要 找 
到 正确 的 对 抗 方法 ， 用 新 改良 的 配方 设计 出 杀 虫 剂 。 有 趣 的 是 ， 
害虫 适应 了 新 的 杀 忠 剂 ， 产 生 了 免疫 力 ， 使 新 杀 虫 剂 失效 。 随 后 
的 几 年 里 ， 老 的 杀 虫 剂 只 能 用 来 杀 死 没有 免疫 力 的 害虫 ， 同 时 还 
必须 引入 一 些 新 的 改良 配方 ， 同 更 视 强 的 新 变异 害虫 作 斗 争 。 新 
旧 杀 虫 剂 的 结合 有 时 阻碍 了 上 昌 杀 虫 剂 效能 的 发 挥 。 随 着 时 间 的 流 
逝 ， 旧 的 杀 虫 剂 变 得 毫 无 用 处 。 于 是 ， 害 虫 和 杀 虫 剂 之 间 不 停 地 战斗 ， 看 最 终 谁 十 
上 风 。 有 时 杀 忠 剂 赢 ， 但 是 ， 有 时 害虫 又 可 以 成 功 地 战胜 最 新 的 杀 忠 剂 。 这 场 斗争 
的 结果 是 大 自然 和 杀 虫 剂 的 不 断 发 展 进化 。 












缺陷 就 像 害 虫 ， 测 试 就 是 设计 正确 的 杀 虫 剂 捕获 并 杀 死 害虫 ， 测 试用 例 就 是 杀 虫 剂 。 像 
害虫 一 样 ， 缺 陷 发 展 免疫 力 抵抗 测试 用 例 。 当 我 们 写 新 的 测试 用 例 发 现 产 品 的 缺陷 时 ， 其 他 


“隐藏 ”在 下 面 的 缺陷 就 暴露 出 来 。 

有 两 种 方式 可 以 解释 产品 如 何 发 展 它 的 “免疫 力 ” 对 付 测试 用 例 。 测试 就 像 杀 贝 剂 一 一 
一 种 解释 是 ， 最 初 的 测试 用 例 深入 到 代码 一 定 程度 ， 由 于 发 现 缺 陷 而 ”必须 不 停 地 政变 其 构成 ， 
停止 进一步 进行 。 一 旦 这 些 缺 陷 修复 ， 测 试 继续 进行 ， 直 到 进入 新 的 。” 以 对 付 新 的 害虫 (缺陷 )。 
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以 前 没有 处 理 的 代码 从 而 发 现 新 的 缺陷 。 这 种 “ 白 盒 ” 或 代码 方法 可 以 解释 为 什么 新 的 测试 
用 例 可 以 发 现 新 的 缺陷 。 

关于 免疫 力 的 第 二 个 解释 是 ， 当 用 户 (测试 人 员 ) 开始 使 用 (执行) 产品 时 ， 最 初 的 缺 
陷 妨 碍 他 们 使 用 全 部 的 外 部 功能 。 随 着 测试 用 例 开始 运行 ， 发 现 缺 陷 ， 修 复 问题 ， 用 户 得 以 
继续 探索 新 的 没有 使 用 过 的 功能 ， 并 发 现 新 的 缺陷 。 这 种 “ 黑 盒 ”观点 采用 功能 方法 解释 为 
什么 “测试 越 多 缺陷 越 多 ”的 现象 。 

另 一 个 解释 这 个 问题 的 方法 是 ， 不 是 缺陷 发 展 了 免疫 力 ， 而 是 测试 用 例 走 得 更 深 ， 更 进 
一 步 诊 断 问题 并 且 最 终 “ 杀 死 缺 陷 ”。 遗 憾 的 是 ， 由 于 软件 很 复杂 ， 并且 在 多 个 组 件 之 间 交 互 ， 
因此 最 终 杀 死 的 事情 很 少 。 测 试 后 缺陷 依旧 存在 ， 困 扰 着 用 户 ， 造 成 数 不 清 的 破坏 。 

这 种 不 断 地 修订 要 运行 的 测试 用 例 ， 以 识别 新 缺陷 的 需要 ， 促 使 我 们 研究 测试 策划 并 且 
执行 不 同类 型 的 测试 ， 尤 其 是 回归 测试 。 回 归 测 试 承 认 新 的 修复 ( 杀 虫 剂 ) 可 导致 新 的 “ 副 
作用 ”同时 引起 一 些 旧 缺陷 出 现 。 设 计 并 执行 回归 测试 的 核心 问题 是 设计 正确 的 测试 用 例 ， 
同 在 先前 测试 中 获得 免疫 力 的 缺陷 作 斗争 。 本 书 第 8 章 将 讨论 回归 测试 。 


1.9 护航 舰队 与 破 布 


我 们 每 个 人 都 经 历 过 交通 堵塞 。 通 常 在 交通 堵塞 时 ， 我 们 
可 以 看 到 护航 舰队 一 样 的 效果 。 严 重 堵塞 的 道路 向 前 延伸 ， 车 
辆 看 起 来 像 加 入 一 支 护航 舰 了 从， 跟随 着 缓 缓 地 向 前 航行 ( 即 轰 
驶 ) ， 直 到 遇 到 下 一 个 护航 舰队 。 








测试 只 能 发 现存 在 缺陷 在 程序 中 通常 也 会 呈现 出 护航 舰队 现象 ， 缺 陷 集 中 出 现 。 
于 聚 类 中 的 一 部 分 缺陷 ， Glenford Myers 在 关于 软件 测试 的 开创 性 著作 [MYER-79] 中 提出 ， 程 
修复 一 个 缺陷 可 能 给 该 ” 序 中 某 部 分 错误 存在 的 可 能 性 与 此 部 分 已 经 发 现 错误 的 数量 成 正比 ， 
聚 类 中 引入 另 一 个 缺陷 。 ”参见 图 1-4。 
听 起 来 这 可 能 不 合理 ， 但 在 逻辑 上 是 可 以 证 明 的 。 通 常 一 个 缺陷 的 修复 会 引入 一 些 不 安 
定 因素 ， 因 此 有 必要 再 修复 。 所 有 这 些 ， 
修复 的 副作用 就 是 导致 缺陷 在 产品 的 某 
些 部 分 成 群 出 现 。 
从 测试 策划 的 角度 看 ， 这 就 意味 着 
如 果 我 们 发 现在 软件 的 某 一 部 分 存在 缺 “ 
陷 ， 那 么 应 该 花 更 多 而 不 是 更 少 的 时 间 
测试 这 部 分 程序 。 这 将 增加 测试 的 投入 
回报 ， 因 为 测试 的 目的 就 是 发 现 缺 陷 。 
这 还 意味 着 无 论 何 时 产品 有 任何 变化 ， 


尚未 发 现 的 缺陷 





tent mw 人 





受到 影响 的 部 分 就 是 容易 出 错 的 区 域 ， 了 2 i 
这 部 分 就 需要 测试 。 我 们 将 在 第 8 章 讨 。 图 1-4 尚未 发 现 的 缺陷 随 已 发 现 缺陷 数量 的 增加 而 增加 
论 这 方面 的 内 容 。 

修复 缺陷 围绕 特定 几 行 代码 进行 。 围 绕 同一 段 代码 的 修复 会 带 来 副作用 。 这 会 导致 程序 
螺旋 式 变更 ， 都 是 对 特定 部 分 的 代码 进行 的 。 当 我 们 审视 这 些 修复 了 成 群 缺陷 的 代码 ， 就 像 
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看 一 块 破 抹布 ! 修补 衬衣 的 一 个 破 洞 可 能 损坏 另 一 个 地 方 。 一 劳 永 逸 的 解决 方法 就 是 扔 掉 衬 
衣 买 件 新 的 。 这 就 相当 于 重新 进行 体系 结构 设计 和 重 写 代码 。 


1.10 桥 上 的 警察 





a 诡 市 让 有 闫 椒 ， 具 美人 人 们 及 桩 上 上 直 过 视 全 挤 下 雪 ， 认 了 解 详 。。。 nm 
这 个 问题 ， 市 长 任命 了 一 个 强壮 的 警察 站 在 桥 下 面 挽救 掉 下 的 人 。 二 
问题 在 一 定 程度 上 得 以 缓解 ， 但 仍 不 能 彻底 解决。 

这 个 警察 退休 后 ， 一 个 新 警察 接替 了 他 的 工作 。 在 开始 的 几 
天 里 ， 新 警察 没有 站 在 桥 底 接 住 掉 落 的 人 ， 他 同一 个 工程 师 一 起 
修好 了 桥 上 的 洞 ， 这 是 早先 那个 警察 没有 注意 到 的 。 从 那 时 起 ， 
没有 人 再 坠 桥 ， 新 警察 也 没有 接 住 过 一 个 人 。( 这 使 他 现在 的 工作 变 得 多 余 ， 他 继续 
\、 做 其 他 对 自己 和 人 们 部 有 益 的 事情 ……) 

















测试 人 员 有 可 能 能 够 很 好 地 了 解 用 户 遇 到 的 问题 。 就 像 上 面 故 事 所 讲 的 第 二 个 警察 ， 他 
知道 人 们 掉 下 来 和 人 们 为 什么 会 掉 下 来 。 他 们 (宁愿 冒 着 错过 接 住 掉 落 人 们 的 风险 ) 不 是 简 
单 地 接 住 他 们 ， 而 是 调查 导致 掉 落 的 根本 原因 并 采取 预防 措施 。 测 试 PE 
-人 员 本 身 可 能 难以 采取 预防 措施 。 就 像 第 二 个 警察 需要 工程 师 帮 他 堵 休 可 以 和 最 光 效 得 更 长 远 
上 漏洞 ， 测 试 人 员 也 必须 同 开发 工程 师 一 起 找到 缺陷 的 根源 并 解决 。 一 -一 一 -一 一 
测试 人 员 不 应 认为 解决 问题 与 己 无 关 ， 要 像 第 二 个 警察 一 样 ， 利 用 自己 的 缺陷 检测 经 验 ， 转 
换 到 缺陷 预防 ， 这 既 可 以 使 自己 的 职业 工作 更 丰富 ， 也 会 使 公司 受益 。 

缺陷 预防 是 测试 人 员工 作 的 一 部 分 。 如 果 能 够 在 缺陷 预防 和 缺陷 检测 活动 之 间 找 到 平衡 ， 
那么 测试 人 员 的 职业 工作 就 会 变 得 丰富 并 会 得 到 回报 。 这 种 职业 发 展 道路 包含 在 第 13 章 将 要 
介绍 的 一 种 三 阶段 模型 中 。 下 面 我 们 讨论 缺陷 预防 和 缺陷 检测 之 间 的 平衡 问题 。 


1.11 钟 摆 的 终结 


任何 软件 公司 最 终 的 目的 都 是 要 确保 用 户 能 够 得 到 没有 多 少 缺 陷 的 产品 。 达 到 这 个 目的 
有 两 个 途径 : 一 个 是 关注 缺陷 检测 并 改正 缺陷 ， 另 一 个 是 关注 缺陷 预防 。 这 也 称 为 质量 控制 
关注 和 质量 保证 关注 。 

传统 上 测试 被 认为 是 一 种 质量 控制 活动 ， 强 调 缺 陷 检 测 和 更 正 。 我 们 更 愿意 采用 广义 的 
测试 观点 ， 认 为 测试 是 面向 测试 预防 的 。 例 如 ,一 方面 第 3 章 将 讨论 的 白 盒 测试 属于 静态 测试 ， 
包括 桌面 检查 、 代 码 走 查 、 代 码 评 审 和 审查 。 即 使 这 些 在 传统 上 被 认为 是 “质量 保证 ”活动 ， 
整个 测试 活动 的 策划 要 以 向 用 户 交 付 高 质量 的 产品 为 守则， 这 是 难以 做 到 的 ， 除 非 全面 地 孝 
虑 通过 质量 保证 能 做 什么 ， 以 及 通过 质量 控制 〈 即 传统 意义 上 的 测试 ) 能 做 什么 。 

质量 保证 通常 都 与 过 程 模型 例如 CMM、CMMI、ISO 9001 等 关联 ， 而 质量 控制 通常 与 测试 
(测试 是 本 书 要 讨论 的 主要 内 容 ) 有 关 。 这 就 导致 了 质量 保证 和 质量 控制 之 间 的 不 自然 分 类 。 
遗憾 的 是 ， 公 司 都 把 这 两 种 功能 看 作 是 互 斥 的 ， 即 “二 选 一 "。 我 们 甚至 听 到 过 “只 要 有 好 的 、 
过 程 管理 ， 测 试 就 是 多 余 的 ”， 或 “过 程 是 辅助 的 ， 测 试 可 以 发 现 一 切 ”的 说 法 。 这 就 好 像 位 ” 
于 钟 摆 两 端的 两 种 思想 流派 : 一 个 来 源 于 缺陷 预防 (质量 保证 ) 关注 ， 另 一 个 来 源 于 缺陷 检测 
(质量 控制 ) 关注 。 经 常会 看 到 公司 像 钟 摆 一 样 从 一 个 极端 到 另 一 个 极端 (如 图 1-5 所 示 )。 
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缺陷 检测 


* 
+: 4 
+ . 
* * 
> We 


图 1-5 质量 控制 和 质量 保证 是 提高 质量 的 两 种 方法 


我 们 认为 ， 缺 陷 预防 和 缺陷 检测 不 应 看 作 是 互 斥 的 ， 也 就 是 钟 摆 的 两 个 极端 ， 而 应 看 作 
是 两 种 相辅相成 的 活动 ， 需 要 恰当 地 组 合 。 图 1-6 给 出 了 一 种 缺陷 预防 一 缺陷 检测 网 格 ， 把 这 
两 种 功能 看 作 两 个 维度 ， 两 种 活动 正确 的 组 合 就 对 应 于 选取 网 格 的 的 正确 象限 。 







和 
最 后 一 分 钟 很 匆忙 ， ”占用 资源 但 可 得 到 好 的 回 
更 依赖 人 员 | 报 
测试 人 员 是 “英雄 ”也 是 。 ”质量 制度 化 
“对 于 | 


使 质量 对 用 户 可 见 













不 是 一 个 健康 的 状态 ! 双 刃 剑 
没有 标准 导致 "缺陷 滋生 ” ”过度 注重 过 程 
缺少 检测 使 缺陷 到 达 用 户 。 ”缺少 检测 使 缺陷 到 达 用 户 


关注 缺陷 检测 






低 高 


关注 缺陷 预防 
图 1-6 缺陷 检测 关注 和 缺陷 预防 关注 之 间 的 关系 


如 果 不 太 关注 缺陷 预防 ， 就 不 会 强调 适合 的 标准 、 评 审 和 过 程 。 这 种 行为 是 缺陷 理想 的 
“温床 ”。 保 证 产品 质量 的 大 部 分 工作 都 要 靠 测试 及 缺陷 检测 团队 完成 。 如 果 也 不 太 关 注 缺 陷 
检测 (图 1-6 的 左下 象限 表示 )， 公 司 就 处 于 一 种 不 好 的 状态 。 没 有 测试 和 缺陷 检测 活动 就 不 
能 及 时 “ 杀 死 ”缺陷 ， 也 就 导致 缺陷 会 达到 用 户 。 显 而 易 见 这 不 是 一 种 健康 的 状态 。 

即使 加 强 对 缺陷 检测 的 关注 ， 但 是 仍然 不 注意 缺陷 预防 (图 1-6 的 左上 象限 ) ， 测 试 也 会 
变 成 一 种 高 度 紧 张 、 压 力 极 大 的 工作 。 在 产品 发 布 前 的 最 后 一 刻 ， 还 在 检测 大 多 数 缺 陷 。 测 
试 人 员 于 是 成 为 及 时 找 出 所 有 缺陷 从 而 扭转 败局 的 超级 英雄 ， 同 时 他 们 也 可 能 成 为 开发 人 员 
的 敌人 ， 因 为 他 们 总 是 找 出 开发 人 员 所 做 工作 的 问题 。 这 个 象限 比 前 一 个 好 一 些 ， 但 是 很 难 
维持 ， 因 为 最 后 一 刻 玩 的 心跳 会 使 人 们 筋疲力尽 。 


三 个 中 国医 生 是 兄弟 。 小 弟 是 世界 上 非常 有 名 的 外 科 医 生 ， 他 
能 发 现 人 身上 的 肿瘤 并 切除 。 二 哥 能 够 在 疾病 的 早期 发 现 并 开 药 治 
好 它 。 他 只 在 他 所 居住 的 城市 非常 有 名 。 大 哥 不 被 外 人 所 认识 ， 但 
是 两 个 弟弟 总 是 听 他 的 建议 ， 因 为 他 能 够 告诉 他 们 在 疾病 没有 出 现 
时 如 何 预防 。 大 哥 不 是 最 出 名 的 ， 但 无 疑 却 是 最 有 效 的 。 
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预防 疾病 比 治疗 更 有 效 。 预 防 缺陷 的 人 往往 没有 被 关注 。 他 们 在 公司 中 从 未 被 称 为 英雄 。 
灭火 的 人 是 大 家 看 得 见 的 人 ， 不 一 定 是 一 开始 就 确保 火灾 不 发 生 的 人 。 无 论 如 何 都 不 应 该 打 
击 缺 陷 预 防 人 们 的 积极 性 。 

正如 我 们 在 上 一 节 看 到 的 ， 缺 陷 预 防 和 缺陷 检测 不 是 互 斥 的 ， 需 要 适当 平衡 才能 提高 产 
品质 量 。 缺 陷 预 防 可 改善 产品 生产 过 程 的 质量 ， 而 缺陷 检测 则 可 以 捕获 并 改正 过 程 中 残留 的 
缺陷 。 因 此 ， 缺 陷 预防 就 是 关注 过 程 ， 而 缺陷 检测 就 是 关注 产品 。 缺 陷 检测 作为 一 种 额外 检 
查 ， 可 以 放大 缺陷 预防 的 作用 。 

缺陷 预防 的 提高 在 于 能 够 建立 评审 机 制 ， 遵 循 先进 的 标准 ， 完 成 工作 遵循 文档 化 的 过 程 ， 
从 一 开始 就 主动 地 关注 把 一 切 做 好 , 会 使 测试 工作 (也 就 是 缺陷 检测 ) 一 
能 够 增加 更 多 的 价值 ， 并 能 够 在 缺陷 到 达 用 户 之 前 捕获 残留 的 缺陷 。 缺陷 预防 和 缺陷 检 
质量 就 是 始终 如 一 地 关注 将 缺陷 预防 与 缺陷 检测 制度 化 。 因 此 ， 一 个 ” 测 不 能 认为 是 互 斥 的 ， 
公司 必须 分 配 足够 的 资源 ， 以 维持 高 水 平 的 缺陷 预防 和 缺陷 检测 活动 ” 而 应 该 是 互 为 补充 的 。 
(如 图 1-6 所 示 的 右上 象限 ) 。 

但 是 ， 一 个 公司 应 该 仔细 避免 过 多 依赖 缺陷 预防 ， 而 减少 对 缺陷 检测 的 关注 (如 图 1-6 所 
示 的 右 下 象限 )。 过 多 关注 缺陷 预防 ， 轻 视 缺陷 检测 ， 在 所 发 布 产 品 的 质量 管理 层 中 会 产生 一 
种 不 舒服 的 感觉 ， 因 为 内 部 发 现 的 缺陷 会 很 少 。 这 种 感觉 会 导致 引入 新 过 程 ， 以 改善 缺陷 检 
测 的 有 效 性 。 而 太 多 的 过 程 和 缺陷 预防 最 后 可 能 被 当 作 官僚 形式 ， 对 于 不 同 的 情况 没有 灵活 
性 和 适应 性 。 虽 然 过 程 带 来 了 纪律 约束 ， 并 降低 了 对 个 别人 员 的 依赖 ， 但 是 ， 如 果 没 有 实现 
其 精神 实质 ， 过 程 也 会 成 为 双 刃 剑 ， 会 伤害 到 人 们 的 积极 性 。 如 果 公司 既 强 调 缺 陷 预 防 也 强 
调 缺陷 检 (图 1-6 中 的 右上 象限 ) ， 表 面 上 看 起 来 成 本 很 高 ， 但 通过 对 内 制度 质量 提升 ， 对 外 ， 
使 用 户 能 够 看 到 这 种 变化 ， 这 种 投入 必定 带 来 丰厚 的 回报 。 

公司 应 当 为 缺陷 检测 和 缺陷 预防 适当 地 定位 ， 也 就 是 选择 图 1-6 中 的 适合 象限 。 对 缺陷 巴 
防 和 缺陷 检测 强调 的 尺度 要 随 着 产品 类 型 、 发 布 日 期 的 临近 程度 和 可 用 资源 的 不 同 而 调整 。 综 
合 考虑 不 同 因素 ， 有 意识 地 平衡 缺陷 预防 和 缺陷 检测 ， 将 使 公司 生产 出 更 高 质量 的 产品 。 对 于 
一 个 公司 来 讲 ， 要 避免 过 于 强调 一 方 而 忽视 另 一 方面 ， 这 一 点 很 重要 ， 这 在 下 一 节 详 细 讨 论 。 


1.12 黑 衣 人 
从 以 上 讨论 可 以 看 出 ， 测 试 要 求人 员 有 多 项 才能 。 从 事 测试 工作 的 人 员 应 该 以 客户 为 焦 
点 ， 从 客户 角度 理解 隐 含 的 要 求 。 他 们 应 具有 很 高 的 分 析 技能 ， 以 选 “一 为 “测试 "而 自 训 - 


择 合适 的 测试 用 例子 集 ， 同 时 能 正确 应 对 杀 虫 剂 悖 论 。 他 们 应 该 提前 就 会 处 理 好 “其 他 一 切 ”| 
考虑 到 缺陷 预防 ， 同 时 又 能 够 识别 并 矫正 出 现 的 错误 。 最 后 ， 他 们 必 一 一 
须 能 够 完成 自动 化 工作 (下 一 节 将 要 阐述 )。 

尽管 所 有 这 些 都 对 所 需 的 技术 和 人 与 人 之 间 交 流 的 技巧 提出 挑战 ， 但 测试 仍然 不 是 一 种 
很 受 欢迎 的 工作 。De Marco 和 Lister 在 他 们 的 《人 件 》[DEMA-1987] 一 书 中 描述 了 一 个 有 趣 的 
实验 。 在 测试 团队 中 有 目的 地 插入 一 些 人 ， 这 些 人 “没有 影响 开发 人 员 测 试 自己 的 程序 会 
现 的 认 知 问题 "*。 这 些 人 穿着 特殊 的 衣服 ( 黑 衣 服 ， 以 区 别 于 公司 中 的 传统 工作 服 )， 并 受到 
极 大 重视 。 所 有 的 这 些 增加 了 他 们 的 工作 自豪 感 ， 使 他 们 的 成 绩 不 可 思议 地 飞跃 增长 。 最 初 
的 团队 成 员 离 开 并 补充 新 成 员 很 久 以 后 ,“ 黑 衣 团 队 ” 依 然 存在 并 且 声 名 依旧 ，。 

选择 测试 作为 职业 的 最 大 瓶颈 在 于 缺乏 自信 。 这 种 自信 的 缺乏 和 明显 的 对 测试 职业 选择 
的 不 信任 ， 使 他 们 把 测试 看 作 是 转 到 其 他 岗位 的 跳板 (明显 地 ，“ 开 发 ”就 是 编写 代码 的 委婉 


12 各 一 部 分 写作 线索 





提 法 )。 结 果 是 ， 测 试 人 员 没 有 能 够 在 测试 中 寻找 职业 发 展 道路 ， 而 是 增加 了 对 测试 这 种 职业 
的 怀疑 。 

本 书 的 第 三 部 分 将 专门 讨论 职业 期 望 和 人 们 面临 的 类 似 问题 。 我 们 面 对 的 一 部 分 挑战 是 
面 对 全 球 化 ， 即 合理 利用 全 球 资 源 保持 竞争 优势 。 第 三 部 分 的 另 一 章 将 专门 讨论 由 此 引起 的 
组 织 问题 。 


1.13 自动 化 综合 症 








一 个 农场 主 需要 到 一 英里 以 外 的 并 里 提 水 用 。 于 是 ， 他 雇 了 
100 个 人 从 井 里 提 水 浇 地 。 每 人 每 天 提 一 培 水 ， 但 这 远 远 不 够 。 
庄稼 枯死 了 。 名 
在 下 一 轮 播种 之 前 ， 农 场 主 吸取 了 去 年 的 教训 ， 他 想到 自动 

化 是 提高 生产 率 避 免 再 次 失败 的 关键 方法 。 他 听 说 摩托 车 可 以 更 快 地 运 水 。 于 是 ， 
他 买 了 50 辆 摩托 车 ， 解 度 了 50 个 工人 ， 同 时 要 求 剩 下 的 每 人 开 摩 托 车 运 两 维 水 。 看 
起 来 由 于 生产 率 的 提高 (由 于 摩托 车 的 速度 和 便捷 性 ) ， 他 需要 的 人 更 少 了 。 遗 憾 的 
是 ， 他 是 在 庄稼 生长 期 开始 时 ， 才 选择 使 用 摩托 车 的 。 因 此 ， 在 开始 的 几 周 里 ， 工 
人 忙 着 学 习 使 用 摩托 车 。 在 学 习 摩托 车 的 过 程 中 ， 每 天 能 运送 的 水 维 数 没有 预想 的 
那么 多 ， 加 之 工人 的 数量 也 减少 了 ， 运 水 能 力 实际 上 减少 。 庄 稼 又 枯死 了 。 

下 一 个 播种 季节 又 来 了 。 现 在 除了 一 个 人 之 外 所 有 的 工人 部 解 底 了 。 农 场 主 这 
次 买 了 一 辆 卡车 来 运 水 。 这 次 他 也 意识 到 需要 训练 工人 学 习 各 驶 。 可 是 ， 从 农场 到 
并 之 间 的 路 太空 ， 卡 车 不 能 帮 他 运 来 水 。 同 样 ， 这 次 庄稼 也 都 枯死 了 。 

经 过 这 些 经 历 后 ， 农 场 主 说 :“ 没 有 自动 化 ， 我 的 日 子 还 会 好 过 点 | ” 















如 果 仔 细 捉 摸 这 个 故事 就 会 发 现 ， 庄 稼 枯死 的 多 个 原因 都 不 是 自动 化 引起 的 。 农 场 主 的 
失败 不 该 直接 归于 自动 化 ， 而 应 该 归于 自动 化 所 遵循 的 过 程 和 不 恰当 
的 选择 。 第 二 年 失败 的 原因 是 没有 技能 ， 第 三 年 失败 的 原因 是 选择 了 
不 合适 的 工具 。 

第 二 年 播种 期 到 来 时 ， 农 场 主 购买 摩托 车 后 立刻 解雇 工人 ， 预 期 
的 金钱 和 时 间 都 落空 了 。 第 三 次 他 犯 了 同样 的 错误 。 自 动 化 没有 让 他 


自动 化 失败 的 例子 
比 成 功 的 多 。 自 动 化 需 
要 与 产品 开发 一 样 的 技 
能 和 关注 。 
立刻 得 到 回报 。 
上 述 故 事 的 寓意 同样 适用 于 测试 。 自 动 化 需要 仔细 地 策划 、 评 估 和 训练 。 自 动 化 可 能 不 
会 立刻 产生 回报 。 如 果 一 个 公司 希望 立刻 通过 自动 化 产生 回报 最 终 将 会 失望 ， 并 会 错误 地 怪 
罪 是 自动 化 导致 他 们 的 失败 ， 而 不 是 客观 地 看 待 他 们 为 自动 化 所 作 的 策划 、 评 估 和 训练 等 准 
备 工 作 的 水 平 。 
大 多 数 公司 都 因为 自动 化 初期 的 失败 而 转向 手工 测试 。 遗 憾 的 是 ， 他 们 得 出 了 错误 的 结 
论 一 一 自动 化 永远 不 能 奏效 。 
测试 的 天 性 就 包括 重复 性 工作 。 也 就 是 说 ， 测 试 本 身 会 自然 地 导致 自动 化 。 但 是 ， 自 动 
化 也 是 一 把 双 刃 剑 。 下 面 给 出 一 些 需 要 注意 的 关于 自动 化 的 要 点 : 
。 在 为 了 自动 化 而 建议 自动 化 之 前 ， 首 先 要 知道 为 什么 要 采用 自动 化 ， 以 及 想 要 自动 化 
哪些 内 容 。 
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。 在 选择 最 适合 需要 的 工具 之 前 多 做 比较 。 

。 根据 需要 选择 工具 ， 而 不 是 为 配合 工具 的 能 力 改变 需要 。 
。 在 指望 测试 人 员 提 高 生产 率 之 前 先进 行 培训 。 

。 不 要 期 望 自动 化 一 夜 之 间 就 会 产生 回报 。 


1.14 小 结 


本 章 讨论 了 测试 的 一 些 基本 原理 ， 为 后 面 内容 的 展开 商定 了 基础 。 本 书 由 五 部 分 组 成 . 
第 一 部 分 (包括 本 章 ) 为 本 书 其 余部 分 确立 了 背景 。 下 一 章 将 讨论 测试 、 验 证 和 确认 活动 背 
景 下 的 软件 开发 生存 周期 (SDLC) 模型 。 | 

第 二 部 分 将 讨论 常见 的 测试 类 型 。 第 3 ~10 章 涵盖 了 白 盒 测 试 、 黑 盒 测 试 、 集 成 测试 、 系 
统 测试 、 确 认 测 试 、 性 能 测试 ， 回 归 测 试 、 国 际 化 测试 和 即兴 测试 的 内 容 。 

第 三 部 分 将 讨论 两 个 特殊 且 有 些 深奥 的 特殊 测试 问题 ， 即 第 11 章 要 讨论 的 面向 对 象 测试 、 
第 12 章 要 讨论 的 可 使 用 性 和 易 获 得 性 测试 。 

第 四 部 分 将 讨论 一 个 经 常 被 忽视 的 问题 测试 中 的 人 员 和 组 织 问题 。 第 13 章 将 讨论 常见 的 
人 员 问 题 ， 包 括 一 些 误解 、 职 业 发 展 道路 等 问题 。 第 14 章 将 讨论 当前 流行 的 用 于 建立 有 效 测 
试 团队 的 不 同 组 织 结构 ， 特 别 是 在 全 球 化 背景 下 的 组 织 结构 。 

最 后 的 第 五 部 分 将 讨论 过 程 、 管 理 和 自动 化 等 确保 公司 内 部 测试 有 效 性 的 测试 管理 和 自 
动 化 问题 。 第 15 章 将 阐述 测试 策划 管理 和 执行 ， 论 述 测试 策划 的 内 容 、 测 试 项 目 跟踪 及 相关 
问题 。 第 16 章 将 详 述 在 测试 领域 正在 出 现 且 重要 性 日 益 凸显 的 重要 问题 ， 即 实现 测试 自动 化 
的 好 处 、 挑 战 和 途径 。 第 17 章 将 详细 说 明 衡量 测试 的 有 效 性 、 产 品 的 质量 等 ， 都 需要 采集 什 
么 数据 ， 进 行 什么 分 析 ， 以 及 如 何 使 用 这 些 信息 实现 可 量化 的 持续 改进 。 

虽然 本 书 的 各 个 部 分 都 提供 了 必要 的 理论 基础 ， 但 我 们 还 是 重点 强调 实践 问题 。 通 过 阅 
读 以 上 内 容 ， 读 者 可 以 概略 了 解 本 书 其 余部 分 的 内 容 和 背景 关系 。 


问题 与 练习 


1. 我 们 已 经 谈 到 了 软件 的 普 适 性 ， 它 是 迟早 要 对 遗留 在 产品 中 的 缺陷 进行 检测 的 一 个 原因 。 
假设 带 有 筷 入 式 软件 的 电视 机 可 以 在 整个 有 线 网 络 上 自动 下 载 、 安 装 纠正 错误 的 补丁 ， 同 
时 电视 机 制造 商 告诉 你 ， 这 只 需 每 周 花 5 分 钟 的 时 间 ， 而 且 “ 对 用 户 免费 。” 你 会 同意 吗 ? 
请 给 出 一 些 不 能 接受 的 理由 。 

2. 你 所 在 的 公司 已 成 功 地 开发 出 安装 在 几 个 客户 那里 的 客户 一 服务 器 应 用 软件 。 你 打算 把 它 改 
成 一 个 基于 Web 的 应 用 ， 这 样 使 任何 人 只 需 注 册 就 能 使 用 。 请 从 质量 和 测试 角度 列 出 一 些 
你 认为 这 个 经 过 修改 的 应 用 软件 会 面临 的 一 些 挑战 。 

3. 下 面 是 一 些 来 自 产 品 开发 公司 的 声音 。 找 出 这 些 观点 中 和 本 章 相 关 原 理 不 相符 的 错误 。 

a. “本 产品 的 代码 是 由 CASE 工 具 自 动 生 成 的 ， 因 此 设 有 缺陷 。 

b. “我 们 已 经 通过 了 最 新 的 过 程 模型 认证 ， 因 此 不 需要 测试 。 

c. “我 们 需要 用 针 式 打印 机 测试 软件 ， 我 们 从 来 没有 发 布 过 没有 经 针 式 打印 机 测试 的 软件 。 

d. “我 已 经 运行 了 两 个 最 新 版 运行 过 的 所 有 测试 用 例 ， 因 此 ， 不 需要 再 运行 任何 其 他 测试 
用 例 了 .。 

e. “我 们 的 竞争 对 手 用 的 就 是 这 个 自动 工具 ， 因 此 我 们 也 应 该 用 同样 的 工具 。” 
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假设 需求 获取 时 引入 的 每 个 缺陷 到 达 客 户 的 成 本 是 10 000 美 元 ， 设 计 缺 陷 和 编码 缺陷 对 应 
的 成 本 分 别 为 1000 和 100 美 元 。 还 假设 依据 目前 的 统计 数字 ， 每 个 阶段 要 产生 平均 10 个 新 的 
缺陷 。 此 外 ， 每 个 阶段 的 缺陷 都 会 传递 到 下 一 阶段 ， 那 么 现在 的 情况 下 ， 缺 陷 总 成 本 是 多 
少 昵 ?如 果 采 用 了 质量 保证 过 程 ， 每 个 阶段 捕获 50% 的 缺陷 ， 使 其 不 能 传递 到 下 一 阶段 ， 
这 可 以 节省 多 少 成 本 呢 ? 


. 你 要 写 一 段 两 个 两 位 整 型 数字 相 加 的 程序 。 你 能 穷尽 测试 这 个 程序 吗 ? 如 果 可 以 ， 需 要 多 


少 个 测试 用 例 ? 假设 每 个 测试 用 例 的 执行 和 分 析 需 要 一 秒 ， 运 行 所 有 的 测试 用 例 要 花 多 长 
时 间 ? 

我 们 认为 程序 中 遗留 的 缺陷 数量 和 检测 出 的 缺陷 数量 成 正比 。 为 什么 这 个 论点 看 似 矛盾 ? 
同样 ， 解 释 为 什么 在 程序 测试 中 会 产生 这 种 现象 。 
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2.1 软件 项 目的 阶段 


软件 项 目 由 一 系列 阶段 构成 。 一 般 来 说 ， 大 多 数 软 件 项 目 由 以 下 阶段 组 成 : 
。 需求 获取 和 分 析 

。 策划 

。 设计 

。 开发 或 编码 

。 测试 

。 部 署 和 维护 


2.1.1 需求 获取 和 分 析 


在 需求 获取 阶段 ， 要 收集 构建 软件 的 具体 需求 并 形成 文档 。 如 果 要 构建 的 软件 是 预订 软 
件 ， 那 么 给 出 这 些 需 求 的 是 单一 客户 。 如 果 要 构建 的 产品 是 通用 软件 ， 那 么 要 由 软件 产品 公 
司 内 的 产品 市 场 开发 团队 通过 汇集 多 种 潜在 客户 的 需求 来 描述 需求 。 不 管 是 哪 种 情况 ， 最 重 
要 的 都 是 要 确保 在 每 个 环节 获取 的 都 是 合适 的 需求 。 需 求 文 档 的 形式 是 系统 需求 规格 说 明 
(SRS)。 这 种 文档 是 沟通 客户 和 将 构建 该 产品 的 设计 人 员 之 间 的 桥梁 。 


2.1.2 策划 


策划 阶段 的 目的 是 确定 进度 计划 、 项 目 范 围 和 形成 产品 所 需 的 资源 。 计 划 要 描述 如 何 满 
足 需 求 ， 在 什么 时 间 满 足 。 需 要 在 这 个 阶段 根据 项 目的 范围 、 可 以 使 用 的 资源 以 及 产品 的 一 
组 里 程 碑 和 发 布 时 间 考 虑 需求 要 满足 什么 和 不 满足 什么 这 两 个 方面 的 问题 。 策 划 阶 段 既 适用 
于 开发 活动 ， 也 适用 于 测试 活动 。 策 划 阶 段 结束 时 ， 需 要 交付 项 目 计划 和 测试 计划 文档 。 


2.1.3 设计 


设计 阶段 的 目标 是 确定 如 何 满足 系统 需求 规格 说 明文 档 所 列 出 的 需求 。 设 计 阶段 要 产生 
后 续 阶段 即 开发 阶段 将 遵循 的 软件 描述 。 这 种 软件 描述 应 有 两 种 用 途 : 一 是 能 够 验证 所 有 需 
求 都 被 满足 ， 二 是 能 够 为 开发 阶段 进行 系统 的 编码 和 实现 提供 足够 的 信息 。 设 计 通 常 分 为 两 
个 层次 ， 即 高 层 设计 和 低层 设计 也 叫做 详细 设计 。 设 计 阶 段 产生 系统 设计 描述 (SDD) 文档 ， 
开发 团队 根据 这 种 文档 编写 实现 该 设计 的 代码 。 


2.1.4 开发 或 编码 


设计 是 实际 编码 的 蓝图 。 这 个 开发 或 编码 阶段 要 采用 所 选 定 的 程序 设计 语言 编写 程序 ， 
产生 符合 设计 确定 的 需求 的 软件 。 除 了 编程 ， 设 计 阶段 还 要 产生 产品 文档 。 
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2.1.5 测试 


程序 以 所 选 定 的 程序 设计 语言 编写 完成 以 后 ， 还 要 进行 测试 。 不 仅 如 此 ， 编 码 完 成 后 ， 
要 按照 计划 进行 测试 。 测 试 是 使 软件 产品 按照 预先 定义 的 方式 运行 ， 验 证 软件 行为 是 否 与 预 
期 的 行为 一 致 。 通 过 测试 软件 产品 ， 公 司 要 在 交付 产品 之 前 尽 可 能 多 地 发 现 并 清除 缺陷 。 


2.1.6 部 署 和 维护 


产品 测试 完成 后 ， 要 交付 给 将 在 其 环境 中 进行 部 署 的 客户 。 用 户 在 自己 的 环境 中 开始 使 
用 该 产品 后 ， 可 能 会 发 现 产 品 的 实际 行为 和 市 场 开发 人 员 或 通过 产品 文档 确定 的 预期 行为 有 
差别 。 这 些 差别 可 能 需要 改正 产品 的 缺陷 。 这 时 产品 进入 维护 阶段 ， 通 过 维护 即 修改 产品 满 
足 客户 预期 、 环 境 变化 等 引起 的 变更 。 维 护 工 作 包括 更 正 性 维护 〈 例 如 解决 用 户 报告 的 问题 )、 
适应 性 维护 (例如 使 软件 能 够 在 操作 系统 或 数据 库 的 新 版 本 上 运行 ) 和 预防 性 维护 (例如 修 
改 应 用 程序 以 避免 操作 系统 代码 中 的 潜在 安全 漏洞 ) 。 


2.2 质量 、 质 量 保 证 和 质量 控制 


ee 软件 产品 要 满足 一 个 或 一 批 客户 的 特定 需求 。 怎 样 刻画 “满足 需 
质量 是 对 软件 预期 ” 求 ”这 个 词 呢 ? 需求 要 转化 成 软件 特性 ， 所 设计 的 每 个 特性 都 要 满足 
需求 的 一 致 和 可 预知 的 。 一 个 或 多 个 需求 。 对 于 每 个 特性 ， 预 期 行为 通过 一 组 测试 用 例 刻画 ， 
满足 。 而 每 个 测试 用 例 又 通过 以 下 要 素 刻 画 ; 
1. 执行 该 测试 用 例 所 要 求 的 环境 ， 
2. 应 该 提供 给 该 测试 用 例 的 输入 ， 
3. 应 该 处 理 这 些 输入 的 方式 ， 
4. 应 该 产生 的 内 部 状态 或 环境 的 变化 ， 
5. 应 该 产生 的 输出 。 
给 定 软件 对 于 给 定 测试 用 例 在 给 定 环境 、 给 定 内 部 状态 和 给 定 输入 下 的 实际 行为 通过 以 
下 要 素描 述 ， 
1. 这 些 输 入 的 实际 处 理 方式 ， 
2. 实际 产生 的 内 部 状态 或 环境 的 变化 ， 
3. 实际 产生 的 输出 。 
如 果实 际 行为 与 预期 行为 对 于 上 述 要 素 都 完全 一 致 ， 那 么 就 说 该 测试 用 例 通过 。 否 则 ， 
就 说 给 定 软件 对 于 该 测试 用 例 存在 缺陷 。 
如 何 增加 产品 一 致 和 可 预知 地 满足 其 预期 需求 的 机 会 呢 ? 有 两 种 方法 ， 即 质量 控制 和 质 
量 保证 。 
质量 控制 试图 构建 一 个 产品 ， 然 后 对 其 比 对 预期 行为 进行 测试 。 如 果 预 期 行为 与 产品 的 
实际 行为 不 同 ， 则 对 产品 进行 必要 的 修改 ， 并 重新 构建 该 产品 。 这 个 过 程 反复 欠 代 ， 直 到 产 
品 的 预期 行为 与 测试 场景 下 的 实际 行为 一 致 。 因 此 ， 质 量 控 制 是 面向 缺陷 检测 和 缺陷 更 正 的 ， 
针对 的 是 产品 而 不 是 过 程 。 
另 一 方面 ， 质 量 保证 试图 通过 关注 生产 产品 的 过 程 ， 而 不 是 关注 产品 构建 后 的 缺陷 检测 
和 更 正 来 预防 缺陷 。 例 如 ， 质 量 保证 不 是 先 产生 再 测试 程序 代码 ， 比 对 合适 的 行为 执行 所 构 
建 的 产品 ， 而 是 在 设计 构建 之 前 首先 进行 评审 ， 改 正 设计 错误 。 类 似 地 ， 为 保证 生产 出 更 好 
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的 代码 ， 质 量 保证 过 程 还 可 以 要 求 所 有 程序 设计 人 员 遵循 编 码 标准 。 通 过 这 个 例子 可 以 看 出 ， 
质量 保证 通常 更 适用 于 采用 某 种 过 程 的 所 有 产品 。 此 外 ， 由 于 质量 保证 贯穿 于 产品 的 整个 生 
存 周期 ， 因 此 是 每 个 人 的 责任 ， 是 全 员 功 能 。 而 质量 控制 责任 通常 分 配给 质量 控制 团队 。 表 
2-1 归 纳 了 质量 控制 和 质量 保证 之 间 的 主要 差别 。 


表 2-1 质量 控制 和 质量 保证 之 间 的 差别 











质量 保证 质量 控制 
关注 生产 产品 的 过 程 关注 特定 的 产品 
面向 缺陷 预防 面向 缺陷 检测 和 更 正 
通常 贯穿 整个 软件 生存 周期 通常 在 产品 构建 后 进行 
通常 是 一 种 全 员 功 能 通常 是 一 种 与 产品 线 有 关 的 功能 
举例 ， 评审 和 审核 举例 : 各 种 层次 的 软件 测试 


第 3 章 将 介绍 质量 保证 方法 ， 例 如 评审 和 审核 的 更 多 内 容 。 不 过 本 书 主要 关注 的 还 是 软件 
测试 ， 软 件 测 试 本 质 上 是 一 种 质量 控制 活动 。 以 下 主要 讨论 软件 测试 。 


2.3 测试 、 验 证 和 确认 


“测试 ”的 狭义 定义 是 编码 之 后 、 部 署 之 前 的 阶段 。 过 去 测试 专 
指 测试 程序 代码 。 但 是 ， 编 码 是 一 种 下 游 活动 ， 而 需求 和 设计 则 在 产 
品 生存 周期 中 处 于 很 靠 前 的 位 置 。 既 然 软 件 产 品 的 目标 是 尽 可 能 减少 
和 避免 缺陷 ， 那 么 单 靠 程序 代码 测试 是 不 够 的 。 上 一 章 已 经 谈 到 ， 缺 
陷 会 在 任何 阶段 蔓延 ， 这 些 缺 陷 应 该 尽 可 能 在 接近 引入 点 处 检测 ， 而 
不 是 等 到 程序 测试 时 才 检 测 。 因 此 ， 如 果 每 个 阶段 在 结束 时 (更 理想 的 情况 是 在 阶段 还 没有 
完成 时 ) 都 经 过 独立 的 “测试 *"， 那 么 就 可 以 更 早 地 发 现 缺 陷 ， 从 而 降低 总 成 本 。 

及 时 测试 可 增加 产品 或 服务 满足 客户 需求 的 机 会 。 当 潜在 用 户 通 过 反映 典型 使 用 模式 的 
恰当 和 现实 的 测试 用 例 测试 产品 时 ， 产 品 满足 客户 需求 的 机 会 就 会 增加 很 多 。 虽 然 测 试 不 会 
保证 零 缺陷 ， 但 是 有 效 的 测试 肯定 会 增加 客户 接受 软件 的 机 会 。 

测试 的 目的 是 发 现 系 统 中 的 缺陷 〈 并 叫 别人 改正 这 些 缺 陷 ) 。 测 试 由 软件 产品 〈 或 服务 ) 
公司 内 的 一 些 人 完成 ， 其 目标 和 宗旨 是 在 产品 到 达 客 户 手 中 之 前 发 现 产 品 中 的 缺陷 〈 参 见 1.3 
节 )。 上 一 章 已 经 介绍 过 ， 软 件 测 试 的 目的 不 是 证 明 产 品 没有 缺陷 ， 而 是 要 发 现 软件 产品 中 的 
缺陷 。 在 本 书后 面 介绍 人 员 和 组 织 问题 的 各 章 (第 13、14 章 ) 将 要 讨论 ， 成 功 的 系统 和 组 织 
结构 应 该 营造 并 促进 鼓励 这 种 测试 目的 实现 的 一 种 环境 。 

测试 并 不 取代 其 他 质量 保证 方法 〈 例 如 评审 ) ， 它 是 检测 软件 产品 缺陷 的 方法 之 一 ， 还 有 
可 起 到 同样 作用 的 其 他 方法 。 例 如 ， 本 书后 面 将 介绍 的 遵循 定义 完备 
的 过 程 和 标准 可 减少 缺陷 被 引入 软件 的 机 会 。 本 书 还 将 讨论 其 他 方法 ， 
这 些 方法 实际 上 都 试图 防止 缺陷 被 引入 到 产品 中 。 为 了 更 加 有 效 ， 测 
试 应 该 补充 、 完 善 、 增 强 前 一 节 提 到 的 这 些 质量 保证 方法 。 

在 每 个 阶段 内 部 发 现 缺 陷 ， 避 免 缺 陷 到 达 测 试 阶段 的 理念 又 引出 
两 个 术语 : 验证 与 确认 。 

在 需求 获取 阶段 ， 需 要 如 实地 获取 需求 。SRS 文 档 是 需求 阶段 的 产品 。 为 了 确保 如 实地 获 
取 需 求 ， 客 户 要 验证 SRS 文 档 。 设 计 阶 段 把 SRS 文 档 用 作 输 入 ， 并 把 需求 映射 到 用 来 驱动 编码 


组 件 ， 以 确定 给 定 阶段 的 
产品 是 否 满足 该 阶段 开始 
时 确定 的 条 件 的 过 程 。 


确认 是 在 开发 过 程 
之 中 或 结束 时 评价 系统 
或 组 件 ， 以 确定 其 是 否 
满足 所 描述 需求 的 过 程 。 
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的 设计 上 。SDD 文 档 是 设计 阶段 的 产品 。SDD 要 由 需求 团队 进行 验证 ， 以 确保 设计 如 实地 反 
上 映 了 SRS， 而 SRS 在 设计 阶段 的 开始 就 确定 了 条 件 。 

给 证 活动 关注 “我 们 是 否 恰当 地 构建 产品 ”， 确 认 活 动 关注 “我 们 是 否 构建 恰当 的 产品 。 

为 了 恰当 地 构建 产品 ， 在 生存 周期 的 开始 就 要 确定 特定 的 活动 、 条 件 和 规程 。 这 些 活动 
被 认为 是 “主动 的 "， 因 为 其 目的 是 在 缺陷 形成 之 前 进行 预防 。 每 个 产品 发 布 版 本 各 个 阶段 执 
行 的 过 程 活动 可 称 为 验证 。 需 求 评审 、 设 计 评审 和 代码 评审 都 是 验证 活动 的 例子 。 

为 了 构建 恰当 的 产品 ， 在 各 个 阶段 都 要 执行 特定 的 活动 ， 以 确认 产品 是 否 按 每 条 规格 说 
明 构 建 。 这 些 活动 被 认为 是 “被 动 的 "， 因 为 其 目的 是 发 现 影响 了 产品 的 缺陷 ， 并 在 缺陷 引入 
后 尽快 改正 。 确 认 活 动 的 例子 包括 用 来 检验 代码 逻辑 是 否 正确 的 单元 测试 ， 用 来 检验 设计 的 
集成 测试 以 及 用 来 检验 是 否 满 足 需求 的 系统 测试 。 
总 之 ,已 经 有 出 于 相同 或 相似 理念 的 不 同方 法 论 。 出 于 本 书 的 实 


质量 保证 = 验证 ， 际 考 虑 ， 这 里 假设 验证 和 质量 保证 是 一 回 事 ， 类 似 地 ， 质 量 控制 、 确 
质量 控制 = 确认 = 测试 认 和 测试 是 一 回 事 。 








2.4 表示 不 同 阶 段 的 过 程 模 型 


过 程 模型 是 表示 软件 开发 任意 给 定 阶 段 的 一 种 方法 ， 有 效 地 构成 确认 和 验证 概念 ， 避 免 
或 尽 可 能 缩短 缺陷 引入 和 缺陷 检测 (以 及 最 后 的 更 正 ) 之 间 的 延迟 时 间 。 在 这 种 模型 中 ， 软 
件 项 目的 每 个 阶段 由 以 下 要 素 刻 画 : 

。 进 入 准则 ， 描 述 该 阶段 能 够 开始 的 时 间 。 还 包括 该 阶段 的 输入 。 

。 任 务 ， 也 就 是 需要 在 该 阶段 内 执行 的 步 又， 以 及 刻画 该 任务 的 度量 。 

。 验证， 描述 检查 任务 是 否 正确 执行 的 方法 。 

。 退 出 准则 ， 规 定 可 以 认为 该 阶段 已 经 完成 的 条 件 。 还 包括 该 阶段 的 实际 输出 。 

这 个 模型 又 叫做 进入 任务 验证 退出 模型 ， 或 ETVX 模 型 ， 在 保证 有 效 的 验证 和 确认 方面 有 
以 下 几 个 优点 : 

1. 清晰 的 进入 准则 可 确保 给 定 阶段 不 会 在 不 成 熟 的 情况 下 开始 。 

2. 每 个 阶段 (或 每 个 阶段 中 的 每 个 活动 ) 的 验证 有 助 于 防止 缺陷 出 现 ， 至 少 最 大 限度 地 
缩短 缺陷 引入 和 缺陷 更 正之 间 的 延迟 时 间 。 

3. 构成 每 个 阶段 的 详细 任务 文档 可 降低 指令 解释 的 随意 性 ， 因 此 可 最 大 限度 地 降低 由 不 
同 个 人 重复 执行 这 些 任务 所 产生 的 差异 。 

4. 清晰 的 退出 准则 可 提供 阶段 结束 之 后 且 进入 下 一 个 阶段 之 前 的 阶段 确认 的 手段 。 

图 2-1 给 出 了 将 ETVX 模 型 运用 到 设计 阶段 的 一 个 例子 。 









退出 准则 ， 
进入 准则 : 。 设 计 和 软件 需求 规格 说 明之 
软件 需求 规格 说 明 间 的 追踪 关系 已 完备 
得 到 客户 批准 。 开 发 团队 已 准备 好 开始 编程 


输出 

。 体 系 结构 文档 
。 设 计 文档 

。 程 序 规格 说 明 


图 2-1 用 于 需求 获取 的 ETVX 模 型 





输入 : 
经 过 批准 的 软件 需 
求 规格 说 明 
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2.5 生存 周期 模型 


ETVX 模 型 刻画 了 项 目的 一 个 阶段 ， 而 生存 周期 模型 则 描述 阶段 如 何 组 合 在 一 起 ， 形 成 一 


个 完整 项 目 或 生存 周期 的 形式 。 这 种 模型 通过 以 下 属性 刻画 : 


所 执行 的 活动 在 任何 给 定 软件 项 目 中 ， 除 了 最 常见 的 活动 和 阶段 ， 即 需求 获取 、 设 计 、 
开发 、 测 试 和 维护 ， 可 能 还 有 其 他 活动 。 这 些 活 动 有 些 可 能 是 技术 活动 〈 例 如 移植 ) ， 有 些 可 


能 是 非 技 术 活动 (例如 招聘 )。 


每 种 活动 的 可 交付 产品 每 种 活动 都 会 产生 一 组 可 交付 产品 ， 即 该 活动 的 最 终 产 品 。 例 如 ， 


需求 获取 阶段 产生 SRS 文 档 ， 设 计 阶段 产生 SDD 文 档 ， 等 等 。 


可 交付 产品 的 确认 方法 给 定 活动 产生 的 输出 标志 着 该 活动 要 满足 的 目标 ， 因 此 需要 确定 


每 种 输出 的 恰当 的 确认 准则 。 


活动 序列 不 同 活动 以 一 定 的 步骤 序列 协同 作用 ， 实 现 项 目的 总 体 目标 。 例 如 ， 需 求 获取 
的 过 程 可 以 包括 与 客户 的 面谈 、 形 成 需求 文档 、 和 客户 一 起 确认 需求 文档 、 冻 结 需求 等 步 又 。 


这 些 步 又 可 能 根据 需要 重复 很 多 次 才能 达到 最 终 的 冻结 需求 。 


每 种 活动 的 验证 方法 ， 包 括 活 动 之 间 的 沟通 机 制 不 同 活动 通过 一 定 的 沟通 方法 与 其 他 活 
动 交 互 。 例 如 ， 当 在 一 个 活动 中 发 现 一 个 缺陷 时 ， 就 会 反 向 追溯 较 早 活动 的 原因 ， 从 缺陷 点 


回 渊 到 该 缺陷 的 原因 需要 恰当 的 验证 方法 。 


以 下 介绍 一 些 用 于 软件 项 目的 常见 生存 周期 模型 ， 每 个 模型 都 要 给 出 : 


1. 模型 的 简要 描述 ， 
2. 模型 与 验证 和 确认 活动 之 间 的 关系 ; 
3. 生存 周期 模型 适用 的 典型 场景 。 


2.5.1 瀑布 模型 


在 瀑布 模型 中 ， 项 目 分 成 一 组 阶段 (或 活动 ) 。 每 个 阶段 都 是 不 同 的 ， 也 就 是 说 ， 在 阶段 


之 间 存 在 清晰 的 分 界线 ， 每 个 阶段 的 功能 都 有 非常 清晰 的 划分 。 


项 目 从 初始 阶段 开始 ， 初 始 阶段 完成 ， 进 入 下 一 个 阶段 。 这 个 阶段 完成 后 ， 项 目 转向 接 
下 来 的 阶段 ， 如 此 进行 下 去 。 因 此 ， 这 些 阶 段 在 时 间 上 是 严格 遵循 顺序 关系 的 。 
图 2-2 给 出 了 一 个 瀑布 模型 项 目的 例子 。 这 个 项 目 从 需求 获取 的 阶段 开始 ， 需 求 获取 结束 


后 生成 系统 需求 规格 说 明文 档 。 这 个 文档 成 为 设计 阶段 的 输入 。 在 设 
计 阶 段 ， 以 系统 设计 描述 (SDD) 的 形式 生成 详细 设计 。 将 SDD 作 为 
输入 ， 项 目 进入 开发 或 编码 阶段 。 在 这 个 阶段 ， 程 序 员 开 发 需要 满足 
该 设计 的 程序 。 程 序 员 完成 编码 任务 后 ， 把 产品 提交 给 测试 团队 ， 由 
测试 团队 在 发 布 之 前 对 产品 进行 测试 。 

如 果 给 定 阶 段 没 有 问题 ， 那 么 这 种 方法 是 有 效 的 ， 会 沿 着 一 个 方 
向 进行 下 去 ( 像 瀑 布 一 样 ) 。 但 是 ， 如 果 进 入 某 个 阶段 后 出 现 问题 会 
怎么 样 呢 ? 例如 ， 进 入 设计 阶段 后 发 现 采用 目前 的 设计 方法 难以 满足 
所 提出 的 需求 。 可 以 采取 哪些 补救 措施 呢 ? 如 果 可 能 ， 可 以 采用 另 一 
种 设计 ， 看 是 否 能 够 满足 需求 。 如 果 设 有 其 他 设计 能 够 使 用 ， 则 必须 
反馈 到 需求 阶段 修改 需求 。 


瀑布 模型 有 三 个 特征 : 


1. 项 目 分 解 为 独立 
的 不 同 阶 段 。 

2. 每 个 阶段 通过 预 
先 定 义 的 输出 与 下 一 阶 
段 发 生 联系 。 

3. 如 果 发 现 错误 ， 则 
返回 到 上 一 阶段 ,一 次 跳 
一 个 阶段 ， 直 到 在 菜 个 较 


早 阶 篡改 正 该 错误 。 
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总 体 业务 需求 


低层 设计 





图 2-2 瀑布 模型 


下 面 对 前 面 的 例子 作 进一步 分 析 。 假 设 针 对 给 定 的 一 组 需求 完成 了 一 个 设计 ， 项 目 推进 到 
程序 设计 /开发 阶段 。 这 时 发 现 由 于 存在 某 些 限制 不 能 开发 该 设计 对 应 的 程序 。 这 时 该 怎么 办 ? 
一 种 方法 是 在 开发 阶段 尝试 其 他 策略 ， 使 该 设计 得 到 满足 。 另 一 种 可 能 是 设计 存在 问题 ， 使 得 
开发 中 产生 冲突 ， 这 样 需要 重新 研究 该 设计 。 当 与 前 面 的 情况 一 样 重新 回 到 设计 阶段 时 ， 可 能 
发 现 该 问题 需要 在 需求 阶段 解决 。 这 样 ， 一 个 阶段 的 问题 有 可 能 追溯 到 前 面 任何 一 个 阶段 。 

因为 每 个 阶段 都 有 输出 ， 因 此 ， 输 出 可 以 比照 一 组 准则 进行 确认 。 为 了 提高 有 效 性 ， 每 
种 输出 的 完成 准则 都 可 以 产生 一 种 前 提 。 在 一 个 阶段 开始 前 ， 可 以 检查 上 一 个 阶段 的 完成 准 
则 ， 并 用 作 该 阶段 的 验证 机 制 。 这 样 可 以 最 大 限度 地 缩短 前 面 例子 所 提 到 的 延迟 。 

瀑布 模型 的 主要 优点 是 简单 。 如 果 项 目 可 以 实际 划分 为 独立 部 分 ， 那 么 瀑布 模型 会 非常 
有 用 。 但 是 很 少 有 软件 项 目 可 以 这 样 划分 。 瀑 布 模型 的 主要 缺点 源 自在 阶段 之 间 回 湖 产 生 的 
延迟 ， 使 得 验证 和 确认 活动 的 效率 很 低 。 一 个 阶段 中 的 错误 至 少 要 到 下 一 个 阶段 才能 被 检测 
出 来 。 当 某 个 阶段 检测 出 错误 时 ， 只 能 与 紧邻 的 上 一 阶段 进行 沟通 。 这 种 阶段 之 间 沟 通 的 顺 
序 特征 会 导致 问题 的 解决 有 很 大 的 延迟 。 瀑 布 模型 内 部 固有 的 应 变 能 力 低 下 ， 以 及 现实 中 很 
少 有 独立 的 阶段 ， 这 些 都 严重 限制 了 瀑布 模型 的 实际 应 用 。 


2.5.2 原型 和 快速 应 用 开发 模型 
原型 和 快速 应 用 开发 《RAD) 模型 认识 到 并 解决 以 下 问题 : 
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1. 尽早 和 频繁 的 用 户 反馈 更 有 可 能 使 软件 产品 满足 客户 的 需求 ， 

2. 变更 是 不 可 避免 的 ， 软 件 开发 过 程 必须 能 够 对 自身 进行 改变 以 应 对 快速 变化 

原型 模型 包含 以 下 活动 ， 

1. 软件 开发 组 织 与 客户 交互 ， 理 解 客户 的 需求 ， 

2. 软件 开发 组 织 生成 原型 ， 展 示 最 终 软件 系统 的 外 观 ， 这 个 原型 
拥有 可 以 说 明 输入 屏幕 和 输出 报告 外 观 的 模型 ， 此 外 还 有 -一些 能 够 说 
明 功能 的 机 制 ， 以 演示 工作 流 和 处 理 逻 辑 ， 

3. 客户 和 软件 开发 组 织 不 断 评审 该 原型 ， 以 便 在 项 目的 一 开始 
( 即 在 需求 获取 阶段 中 ) 就 不 断 获取 客户 的 反馈 。 

4. 软件 开发 组 织 以 客户 反馈 和 所 生成 的 原型 为 基础 ， 生 成 系统 需 
求 规格 说 明文 档 。 

5. 生成 SRS 文 档 后 可 以 丢弃 所 生成 的 原型 A 

6. 将 SRS 文 档 用 作 进 一 步 设计 和 开发 的 基础 。 ee py 

因此 ， 原 型 直接 用 作 快速 采集 (恰当 的 ) 需求 的 手段 。 这 种 模型 ”期 模型 构建 实际 的 产品 。 
具有 需求 验证 和 确认 的 内 在 机 制 。 在 开发 原型 的 过 程 中 ， 客 户 的 频繁 反馈 是 确认 机 制 ，_ 日 
SRS 完 成 ， 可 用 作 设计 和 后 续 步 又 的 验证 机 制 。 但 是 后 续 阶段 的 验证 和 确认 活动 要 由 获取 SRS 
以 后 的 生存 周期 模型 实际 描述 。 

在 客户 能 够 通过 不 断 反馈 进行 参与 方面 ， 原 型 模型 具有 明显 的 优点 。 这 种 模型 对 于 能 名 
很 容易 地 对 客户 反馈 进行 量化 和 集成 ， 例 如 确定 用 户 界面 、 预 测 性 能 等 情况 。 

对 于 适用 于 很 多 客户 的 通用 产品 ， 没 有 单一 的 客户 能 够 最 终 提 供 反 馈 。 在 这 各 情况 下 
产品 提供 商 市 场 开发 部 的 产品 经 理 通常 充当 实际 客户 的 角色 。 因 此 ， 原 型 模型 在 _ 定 程度 上 
不 太 适 合 通用 产品 。 不 仅 如 此 ， 原 型 被 用 作 获 取 需 求 的 手段 ， 以 后 不 一 定 再 使 用 。 有 了 时 原型 
(或 原型 的 一 部 分 ) 会 逐渐 成 为 产品 本 身 。 这 可 能 会 产生 没有 预料 到 的 后 果 ， 因 为 原型 通常 使 
用 一 些 简化 的 方法 、 非 结构 化 的 方法 和 工具 ， 以 快速 得 到 结果 。 这 种 简化 方法 在 实际 环境 中 
是 潜在 的 缺陷 源 ， 因 此 会 给 维护 和 测试 带 来 很 大 的 负担 。 

快速 应 用 开发 模型 是 原型 模型 的 一 种 变种 。 与 原型 模型 一 样 ，RAD 模 型 也 依赖 客户 的 反 
馈 和 交互 获取 最 初 的 需求 。 但 是 ， 原 型 模型 与 RAD 模 型 相 比 有 两 个 不 同 点 。 

首先 ， 在 RAD 模 型 中 ， 构 建 的 不 是 原型 而 是 实际 产品 本 身 。 也 就 是 说 ， 所 构建 的 应 用 
(对 于 原型 模型 来 说 就 是 原型 不 会 丢弃 ， 快 速 应 用 开发 模型 也 因此 得 名 。 

其 次 ， 为 了 保证 获取 需求 的 形式 化 并 在 设计 和 后 续 阶段 正确 反映 需求 ， 要 从 需求 获取 开 
始 ， 在 整个 生存 周期 内 使 用 计算 机 辅助 软件 工程 《CASE) 工具 。 这 类 CASE 工 具 能 够 ， 

明确 获取 需求 的 方法 论 ， 

。 存 储 所 获取 需求 以 及 所 有 瀑布 下 游 实 体 的 数据 库 ， 例 如 设计 对 象 

将 存储 在 数据 库 中 的 需求 自动 转换 为 设计 ， 并 在 所 选 定 的 程序 设计 环境 中 生成 代码 的 

机 制 。 

CASE 工 具 提 供 的 方法 论 可 以 提供 验证 和 确认 的 内 置 手段 。 例 如 ，CASE 工 具 能 够 自动 检 
测 和 消除 数据 类 型 或 依赖 中 的 不 一 致 。 由 于 可 以 自动 地 通过 需求 生成 设计 (甚至 可 能 还 包括 
程序 代码 )， 确 认 会 是 非常 完备 的 ， 一 直 延 续 到 后 续 阶段 ， 这 一 点 与 原型 模型 不 同 。 

这 种 方法 具有 更 寅 的 应 用 面 ， 甚 至 包括 通用 产品 。 通 过 CASE 工 具 自动 生成 设计 和 程序 产 
品 使 这 种 模型 更 具 吸引 力 。 这 种 CASE 工 具 的 成 本 是 组 织 在 确定 是 否 针对 给 定 产 品 使 用 这 种 模 


1. 原型 模型 早 在 需 
求 获 取 阶 段 就 通过 不 断 
的 用 户 交互 产生 原型 。 

2. 使 用 原型 导出 系统 
需求 规格 说 明 ， 并 可 能 在 
完成 SRS 后 丢弃 原型 。 

3. 在 用 户 接受 SRS 
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型 时 需要 考虑 的 一 个 因素 。 此 外 ，CASE 工 具 和 这 种 模型 一 般 更 适合 应 用 项 目 ， 而 不 是 系统 类 
型 的 项 目 。 


2.5.3 ”螺旋 或 迭代 模型 


在 螺旋 或 移 代 模型 使 用 的 过 程 中 ， 要 迭代 地 进行 需求 获取 、 设 计 、 编 码 和 测试 ， 直 到 满 
足 所 有 需求 。 采 用 这 种 模型 ， 需 求 获取 、 设 计 、 编 码 和 测试 活动 之 间 会 有 大 量 重 登 。 很 难 确 
定 产品 所 处 的 阶段 ， 因 为 每 个 需求 可 能 处 于 不 同 阶段 。 能 够 得 出 的 唯一 结论 是 单个 需求 所 处 
的 阶段 。 如 果 给 定 需求 的 任何 阶段 出 现 缺陷 ， 会 使 该 需求 返回 到 前 面 的 阶段 。 随 着 需求 动态 
地 加 入 ， 这 种 模型 支持 随 着 产品 进化 进行 的 渐进 式 开 发 。 这 使 得 开发 人 员 能 够 在 任何 时 间 演 
示 当 时 产品 所 具有 的 功能 ， 还 能 够 向 客户 提供 “ 增 量 ” 版 
本 以 得 到 认可 。 产 品 的 进化 可 以 从 项 目的 开始 看 到 ， 因 为 ” 表 2-2 一 些 产品 需 求 和 阶段 _ 


模型 每 隔 一 定时 间 就 会 提供 “ 增 量 ”版 本 。 即 使 采用 这 种 0 
模型 很 难 策划 产品 发 布 日 期 ， 但 是 它 可 以 使 开发 人 员 跟 踪 需求 1 编码 

到 项 目的 进展 ， 定 期 得 到 客户 的 认可 ， 因 此 可 以 降低 在 项 和 

目 后 期 发 现 重大 缺陷 的 风险 。 表 2-2 给 出 了 产品 的 一 些 需求 = 
阶段 的 一 个 例子 。 需求 5 已 发 布 


图 2-3 (参见 彩 图 ) 描述 了 螺旋 模型 和 对 于 表 2-2 所 示例 
子 模型 中 所 包含 的 阶段 。 从 图 中 可 以 看 出 ， 每 个 需求 都 随 整 个 项 目的 进化 ,“ 螺 旋 式 ”地 通过 
不 同 阶段 。 





2.5.4 V 字 模型 


瀑布 模型 将 测试 看 作 是 一 种 开发 后 ( 即 编码 后 ) 的 活动 。 螺 旋 模 型 将 测试 看 作 是 前 进 的 
_ 步 ， 并 试图 将 产品 分 解 成 增 量 版 本 ， 每 个 增 量 版 本 都 可 以 单独 测试 。V 字 模型 的 出 发 点 与 瀑 
布 模型 类 似 ， 都 把 产品 开发 看 作 由 若干 阶段 或 层次 组 成 。 但 是 V 字 模型 带 来 的 新 观念 是 不 同类 
型 的 测试 适用 于 不 同 层次 。 因 此 ， 从 测试 的 角度 看 ， 每 个 层次 需要 完成 的 测试 类 型 具有 很 大 
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不 同 。 

例如 ， 考 虑 前 面 介绍 瀑布 模型 时 给 出 的 图 2-2 所 表示 的 典型 产品 开发 活动 。 系 统 从 获取 客 
户 角度 的 总 体 业务 需求 开始 。 这 些 需 求 包括 硬件 、 软 件 和 运行 需求 。 由 于 我 们 关注 的 是 软件 ， 
因此 从 总 体 需求 转移 到 软件 需求 就 构成 下 一 个 步 又。 为 了 实现 软件 需求 ， 预 期 的 软件 系统 被 
看 作 是 一 起 协同 的 一 组 子 系统 。 这 种 高 层 设计 (将 系统 分 解 为 具有 一致 接口 的 子 系统 ) 再 转 
换 到 更 详细 的 设计 。 详 细 设 计 解决 诸如 数据 结构 、 算 法 选择 、 表 单 布局 、 处 理 逻辑 、 例 外 条 
件 等 问题 ， 最 后 给 出 若干 组 件 ， 每 个 组 件 都 通过 以 合适 的 程序 设计 语言 编写 的 代码 实现 

有 了 这 些 层 次 后 ， 针 对 每 个 层次 需要 采用 什么 类 型 的 测试 呢 ? 首先 对 于 总 体 业务 需求 ， 
实际 上 所 开发 的 任何 软件 都 应 该 在 这 个 总 体 框架 中 运行 ， 并 且 被 用 户 在 其 自己 的 环境 中 接 
受 。 这 种 最 终 证 明 的 测试 叫做 确认 测试 。 但 是 ， 在 产品 部 署 到 客户 环境 之 前 ， 产 品 提供 商 还 
应 该 把 产品 作为 一 个 整体 单元 进行 测试 ， 以 保证 所 开发 的 产品 已 经 满足 所 有 的 软件 需求 。 这 
种 整个 软件 系统 的 测试 可 称 为 系统 测试 。 由 于 高 层 设计 将 系统 看 作 是 由 相互 协同 和 集成 的 
(软件 ) 子 系统 组 成 的 ， 因 此 ， 应 该 在 能 够 测试 整个 系统 之 前 ， 首 先 集成 和 测试 每 个 单个 子 
系统 。 这 种 对 高 层 设 计 的 测试 就 是 集成 测试 。 组 件 是 低层 设计 的 产品 ， 需 要 在 集成 前 进行 独 
并 测试 , 这 种 对 应 低层 设计 阶段 的 测试 叫做 组 件 测试 。 最 后 , 由 于 编码 会 产生 若干 程序 单元 ， 
在 试图 将 这 些 程序 单元 组 装 为 组 件 之 前 需要 对 其 进行 独立 测试 。 这 种 对 程序 单元 的 测试 就 是 
单元 测试 。 

图 2-4 给 出 了 用 于 每 个 步骤 的 不 同 测试 类 型 。 为 了 简单 起 见 ， 这 里 没有 单独 给 出 策划 阶段 ， 
因为 所 有 测试 阶段 都 有 策划 阶段 。 但 是 直到 产品 实际 构建 出 来 以 后 才能 够 执行 这 些 测试 。 换 
名 话说 ， 称 为 “测试 ”的 步骤 现在 被 分 解 为 叫做 验收 测试 、 系 统 测试 等 不 同 的 子 步 又， 如 图 
2-4 所 示 。 所 有 测试 只 有 在 生存 周期 结束 时 才能 执行 相关 的 活动 。 ; 





总 体 业务 需求 


软件 需求 





图 2-4 不 同 开发 阶段 的 测试 阶段 
即使 测试 执行 要 到 产品 构建 完成 后 才能 进行 ， 测 试 的 设计 也 可 以 在 早期 完成 。 事 实 上 ， 
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]_ Vy 字模 型 将 测试 分 。 如果 观察 一 下 设计 每 类 测试 所 要 求 的 技能 就 会 发 现 ， 设 计 所 有 这 些 测 
解 为 两 个 部 分 ， 设计 和 试 的 最 佳人 选 是 实际 执行 创建 对 应 工作 产品 功能 的 人 。 例 如 ， 确 定 验 
执行 。 收 测试 的 最 佳人 选 应 该 是 形成 总 体 业务 需求 的 人 (可 能 的 话 当然 包括 

2 测试 设计 在 早期 ”客户 )。 类 似 地 ， 设 计 基础 测试 的 最 佳人 选 应 该 是 知道 系统 如 何 分 解 
完成 ， 测 试 执 行 在 后 期 ”为 子 系统 以 及 子 系统 之 间接 口 的 人 ， 也 就 是 完成 高 层 设计 的 人 。 同 样 ， 


进行 。 完成 开发 的 人 了 解 程序 代码 的 内 部 结构 ， 因 此 是 设计 单元 测试 的 最 佳 
3. 生存 周期 的 每 个 阶 ”人选 。 
段 都 有 不 同类 型 的 测试 。 不 仅 设计 这 些 不 同类 型 测试 所 要 求 的 技能 是 不 同 的 ， 而 且 没 有 理 





由 得 出 要 到 最 后 才 设 计 测 试 的 结论 。 在 V 字 型 左 侧 的 活动 进行 过 程 中 ， 
就 可 以 着 手 设计 对 应 类 型 的 测试 。 通 过 进行 测试 的 早期 设计 只 在 最 后 执行 测试 ， 可 以 得 出 以 
下 三 个 重要 结论 ， 

。 首 先 ， 活 动 更 并 行 化 ， 可 减少 生存 周期 结束 进行 测试 所 需 的 时 间 。 

。 第 二 ， 通 过 事先 为 每 种 活动 设计 测试 ， 实 际 上 是 在 进行 更 好 的 事先 确认 ， 同 样 可 以 降 

低 最 后 一 刻 暴 露 严重 问题 的 风险 。 

。 第 三 ， 测 试 由 具有 合适 技能 的 人 员 进 行 设计 。 

这 就 是 V 字 模型 的 基础 ， 在 验证 和 确认 上 具有 很 大 的 优势 。 如 图 2-5 所 示 ， 对 于 每 类 测试 ， 
这 里 都 把 测试 设计 向 前 提 ， 而 测试 执行 活动 仍然 放 在 产品 构建 完成 后 进行 。 


总 体 业务 需求 i 确认 测试 设计 确认 测试 执行 
软件 需求 系统 测试 设计 系统 测试 执行 
层 设计 集成 测试 设计 集成 测试 执行 





低层 设计 组 件 测 试 设计 组 件 测 试 执 行 





图 2-5 V 字 模型 


2.5.5 改进 型 V 字 模型 


V 字 模型 将 各 种 类 型 的 测试 划分 为 设计 和 执行 两 个 部 分 ， 并 将 测试 设计 部 分 附 到 对 应 的 软 
件 生 存 周 期 早期 阶段 。 

假设 即使 测试 执行 活动 分 解 为 不 同类 型 测试 的 执行 ， 执 行 还 是 要 等 到 整个 产品 构建 完成 
后 才能 进行 。 对 于 给 定 产品 ， 不 同 的 单元 和 组 件 可 能 处 于 不 同 的 进化 阶段 。 例 如 ， 某 个 单元 
可 能 仍然 在 开发 ， 因 此 处 于 单元 测试 阶段 ， 另 一 个 单元 已 经 可 以 进行 组 件 测 试 ， 而 该 组 件 本 
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身 还 不 能 进行 集成 测试 。 有 些 组 件 〈 即 已 经 测试 过 的 组 件 ) 可 能 已 经 能 够 进行 集成 测试 ( 包 
括 已 经 能 够 进行 集成 的 其 他 模块 ， 只 要 这 些 模块 能 够 被 集成 ) 。V 字 模型 并 没有 明确 说 明 这 种 


在 产品 开发 中 经 常 遇 到 的 自然 并 行 性 。 

在 改进 型 V 字 模型 中 明确 说 明了 这 种 并 行 性 。 如 果 每 个 单元 、 组 
件 或 模块 明确 地 给 出 进入 后 续 阶 段 的 退出 准则 ， 那 么 满足 给 定 测试 阶 
段 的 单元 、 组 件 或 模块 只 要 有 可 能 就 会 转向 下 一 个 测试 阶段 ， 不 一 定 
等 到 所 有 单元 、 组 件 或 模块 都 从 测试 的 一 个 阶段 转 到 另 一 个 阶段 ， 如 
图 2-6 所 示 。 

就 像 V 字 模型 引入 各 种 测试 类 型 一 样 ， 改 进 型 V 字 模型 引入 各 种 
测试 阶段 。 测 试 阶段 与 测试 类 型 有 一 对 一 的 映射 关系 ， 即 有 单元 测试 


1. 改进 型 V 字 模型 承 


认 产 品 的 不 同 部 件 处 于 
进化 的 不 同 阶段 。 

2. 每 个 部 件 在 满足 
合适 的 进入 准则 时 进入 
合适 的 测试 阶段 (例如 


单元 测试 、 组 件 测试 等)。 


阶段 、 组 件 测试 阶段 等 。 一 旦 单元 完成 单元 测试 阶段 ， 就 成 为 组 件 的 
一 部 分 并 进入 组 件 测 试 阶段 ， 然 后 再 进入 集成 测试 阶段 ， 等 。 改 进 型 V 字 模型 不 像 V 字 模型 那 
样 把 产品 看 作 要 走 过 不 同 的 测试 类 型 ， 而 是 把 产品 的 每 个 部 件 看 作 要 走 过 不 同 的 测试 阶段 。 
这 实际 上 是 一 个 问题 的 两 个 方面 ， 因 此 提供 了 不 同 的 视点 。 改 进 型 V 字 模型 带 来 的 主要 优点 是 
承认 产品 不 同 部 件 的 并 行 性 ， 并 把 每 个 部 件 分 配 到 可 能 最 合适 的 测试 阶段 。 在 图 2-6 中 ， 表 的 
列表 示 V 字 的 一 边 ， 行 〈 测 试 阶段 ) 表示 V 字 的 另 一 边 。 





单元 测试 
组 件 测试 


进入 准则 
集成 测试 
系统 测试 
确认 测试 退出 准则 





图 2-6 改进 型 V 字 模型 


从 图 2-6 中 可 以 看 出 ， 不 同 的 测试 阶段 是 并 行 完成 的 。 在 开始 一 个 测试 阶段 时 ， 注 意 该 产 
品 是 否 已 经 测试 就 绪 是 很 重要 的 。 这 需要 通过 一 组 进入 准则 确定 。 最 早 开始 下 一 个 测试 阶段 
的 可 能 条 件 是 由 进入 准则 描述 的 ， 启 动 下 一 个 测试 阶段 较 早 的 阶段 不 一 定 结束 。 每 个 测试 阶 
段 还 有 一 组 退出 准则 ， 退 出 准则 决定 测试 阶段 的 结束 。 每 个 阶段 的 进入 和 退出 准则 可 确保 交 
付 给 测试 的 产品 已 经 达到 合适 的 质量 水 平 ， 以 及 交付 测试 后 的 产品 完成 了 合适 的 测试 量 。 尽 
管 图 2-6 给 出 的 所 有 测试 阶段 都 同时 结束 ， 但 实际 上 是 可 以 不 同时 结束 的 。 最 长 的 阶段 决定 发 
布 日 期 。 

在 图 2-6 中 还 有 两 种 以 前 没有 讨论 过 的 活动 ， 即 “组 件 (1，2，…) 完成 ”和 “组 件 完 
成 "。 生存 周 期 中 没有 额外 的 活动 ， 这 些 文字 只 是 用 来 表示 集成 测试 可 在 两 个 组 件 完成 后 
开始 ， 以 及 当 所 有 的 组 件 都 经 过 集成 和 测试 ， 下 一 个 测试 阶段 即 系统 测试 才能 开始 。 
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2.5.6 各 种 生存 周期 模型 的 比较 


从 前 面 的 讨论 可 以 看 出 ， 每 种 模型 都 有 其 优点 和 缺点 ， 适 用 于 不 同 的 场景 。 每 种 模型 为 
仿 证 和 确认 带 来 不 同 的 问题 、 挑 战 和 机 会 。 表 2-3 归 纳 了 每 种 模型 关于 适用 性 和 相关 验证 和 确 
认 问 题 的 突出 点 。 


表 2-3 模型 适用 场合 及 与 验证 和 确认 的 相关 性 








模 型 应 用 场合 相关 的 验证 和 确认 (V&V) 问题 
瀑布 存在 非常 明确 的 阶段 界限 测试 和 V&V 推 后 至 少 一 个 阶段 
每 个 阶段 的 可 交付 产品 能 够 在 进入 下 通常 测试 属于 最 下 游 的 活动 
一 个 阶段 前 冻结 沟通 错误 的 成 本 ( 即 更 正 错误 的 时 间 
消耗 ) 很 高 
原型 有 能 够 提供 反馈 的 用 户 (或 产品 经 理 提供 需求 的 内 在 反馈 机 制 





重用 原型 (而 不 是 丢弃 原型 ) 会 使 验 
证 和 确认 很 困难 ， 并 可 能 产生 出 平 预 料 
的 后 果 











RAD 有 能 够 提供 反馈 的 用 户 (或 产品 经 理 ) 除了 需求 和 其 他 方面 的 内 在 反馈 机 制 
如 果 有 CASE 工 具 和 其 他 建 模 工具 CASE 工 具 可 以 生成 有 用 的 文档 ， 可 用 
来 实现 V&V 
螺旋 产品 增 量 进化 将 V&V 推广 到 所 有 增 量 版 本 
能 够 进行 中 间 阶 段 的 检查 和 更 正 将 V&V 推广 到 所 有 阶段 ( 即 需 求 获 取 
以 外 的 其 他 阶段 ) 
可 以 在 任何 阶段 形成 产品 的 文档 ， 能 
够 实现 频繁 发 布 
V 字 模型 测试 的 设计 能 够 与 实际 的 执行 分 离 测试 的 早期 设计 通过 提高 开发 和 测试 


之 间 的 并 行 性 可 缩短 延迟 
测试 的 早期 设计 可 以 更 好 地 、 更 及 时 
地 对 各 个 阶段 进行 确认 
改进 型 V 字 模型 品 可 以 分 解 为 不 同 的 部 件 ， 每 个 部 通过 使 每 个 部 件 独 立 进 化 进一步 提高 
件 可 以 独立 地 进化 V 字 模型 的 并 行 性 
通过 引入 测试 活动 之 间 的 并 行 性 进 一 
步 缩短 总 体 延 迟 











问题 与 练习 


1. 哪 种 软件 开发 生存 周期 模型 最 适合 以 下 哪 种 情况 ? 
a. 产品 是 为 具体 客户 订 制 的 ， 客 户 随时 可 以 提供 反馈 。 
b. 同上 ， 只 是 开发 人 员 拥有 可 以 自动 生成 程序 代码 的 CASE 工 具 。 
c. 通用 产品 ， 但 是 产品 市 场 开发 团队 非常 强 ， 他 们 非常 了 解 并 能 够 很 好 描述 客户 的 总 体 需 
求 。 
d. 产品 由 若干 能 够 串 行 、 增 量 地 提供 的 功能 组 成 。 
2. 根据 本 书 讨论 的 判断 准则 ， 以 下 哪 种 产品 可 以 认为 是 “高 质量 的 ”? 对 自己 的 答案 进行 
说 明 。 
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a. 产品 的 连续 三 个 版 本 分 别 被 发 现 0、79 和 21 个 缺陷 。 
b. 产品 的 连续 三 个 版 本 分 别 被 发 现 85、90 和 79 个 缺陷 。 
3. 从 测试 角度 给 出 以 下 每 种 模型 的 三 种 或 更 多 挑战 : 
a. 螺旋 模型 。 
b. V 字 模型 。 
c. 改进 型 V 字 模型 。 
4. 从 V 字 模型 转移 到 改进 型 V 字 模型 会 遇 到 哪些 挑战 ? 
5. 图 2-1 给 出 了 软件 项 目 设计 阶段 的 ETVX 图 。 为 编码 阶段 也 绘 出 一 幅 类 似 的 ETVX 图 。 
6. 本 书 讨 论 的 螺旋 模型 适用 于 能 够 增 量 进化 的 产品 。 试 讨论 V 字 模型 怎样 用 于 这 种 可 增 量 进 
化 的 产品 。 





人 


























































































i DN > 
ee AA i 3 人 
加 Se 时 到 和 
| ee won 四 
也 
是 4 再 
中 村 
2 
下 
DE 
ri wi 
i 
pe 
A 
了 














这 一 部 分 要 讨论 各 种 测试 类 型 。 各 章 安排 从 更 接近 代码 到 更 接近 用 户 的 顺序 排列 。 第 3 章 
将 讨论 利用 程序 代码 的 内 部 知识 测试 程序 的 白 盒 测试 ， 第 4 章 将 讨论 只 了 解 需求 规格 说 明 描 述 
的 外 部 行为 就 可 以 测试 产品 外 部 行为 的 黑 盒 测 试 。 软件 是 按 模块 进行 开发 的 ， 模块 要 集成 到 
一 起 ， 第 5 章 将 介绍 集成 测试 。 第 6 章 将 介绍 的 系统 和 确认 测试 要 在 类 似 客户 部 署 的 环境 中 ， 
从 用 户 的 视角 完备 地 测试 产品 。 第 7 章 将 讨论 的 性 能 测试 要 测试 系统 是 否 有 能 力 经 受 住 典型 和 
超常 的 工作 负载 冲击 。 有 些 软件 需要 不 断 变更 ， 由 于 变更 不 能 废弃 已 经 有 效 的 功能 ， 因 此 第 8 
章 将 讨论 的 回归 测试 就 显得 非常 重要 。 由 于 软件 必须 以 世界 多 种 语言 部 署 ， 因 此 ， 第 9 章 将 讨 
论 国际 化 和 本 地 化 测试 问题 。 最 后 在 第 10 章 中 讨论 的 即兴 测试 是 一 种 以 一 般 不 可 预测 的 方式 
测试 产品 的 方法 ， 可 以 供 最 终 用 户 使 用 。 


3.1 白 盒 测试 的 定义 


每 个 软件 产品 都 是 通过 程序 代码 实现 的 ， 白 盒 测 试 是 一 种 通过 考察 并 测试 实现 外 部 功能 能 
程序 代码 ， 测 试 代码 的 外 部 功能 的 一 种 方法 ， 也 叫做 透明 人 金 测试 、 玻 璃 金 测试 或 开放 人 金 测试 。 

白 盒 测试 考虑 程序 代码 、 代 码 结构 和 内 部 设计 流 。 第 4 章 要 讨论 的 黑 盒 测试 则 不 考虑 程序 
代码 ， 只 从 外 部 视角 观察 产品 。 

有 些 缺 陷 的 起 因 是 没有 正确 地 将 需求 和 设计 转换 为 程序 代码 。 另 外 一 些 缺 陷 是 由 程序 设 
计 错 误 和 程序 设计 语言 特性 引起 的 。 本 章 将 要 讨论 的 不 同 的 白 盒 测试 方法 有 助 于 缩短 缺陷 引 
入 程序 代码 和 将 其 检测 出 来 之 间 的 延迟 。 此 外 ， 由 于 程序 代码 代表 产品 实际 要 完成 的 事情 
(而 不 是 期 望 产 品 要 完成 的 事情 ) ， 通 过 检查 程序 代码 进行 测试 能 够 使 测试 人 员 更 接近 产品 实 
际 要 完成 的 事情 。 

如 图 3-1 所 示 ， 白 盒 测 试 分 为 “静态 测试 ”和 “结构 测试 "。3.2 节 将 详细 讨论 静态 测试 ， 
3.3 市 讨论 结构 测试 。 





图 3-1 和 白 盒 测试 分 类 


3.2 静态 测试 


静态 测试 只 要 求 提供 产品 的 源 代码 ， 不 要 求 提供 二 进 制 代码 或 可 执行 程序 。 静 态 测试 不 
在 计算 机 上 执行 程序 ， 而 是 由 人 阅读 代码 ， 以 确定 : 

。 代 码 是 否 能 够 满足 功能 需求 ; 

。 代 码 是 否 与 项 目 生存 周期 初期 开发 的 设计 一 致 ; 

。 是 否 遗 漏 功能 代码 ， 
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* 代码 是 否 恰当 地 处 理 错误 。 
静态 测试 可 以 人 工 完成 ， 也 可 以 借助 专门 的 工具 。 


3.2.1 人 工 静 态 测 试 


人 工 静 态 测试 依靠 人 通过 阅读 程序 代码 发 现 错误 ， 而 不 是 依靠 计算 机 执行 代码 来 发 现 错 
误 。 这 种 过 程 有 以 下 优点 : 

1. 有 了 时 人 工 可 以 发 现 计算 机 发 现 不 了 的 错误 。 例 如 ， 如 果 两 个 变量 具有 类 似 的 名 称 ， 而 
程序 员 在 表达 式 中 “ 误 ” 用 了 变量 ， 计 算 机 不 能 发 现 这 样 的 错误 ， 只 是 执行 该 语句 并 得 出 错 
误 的 结果 ， 而 人 则 可 以 识别 出 这 样 的 错误 。 

2. 通过 多 人 阅读 并 评价 程序 ， 可 以 得 到 多 个 视点 ， 因 此 可 以 发 现 的 错误 比 计算 机 发 现 得 
多 。 

3. 人 工 评价 代码 可 以 对 比 规格 说 明 或 设计 ， 因 此 可 以 确保 程序 完成 期 望 其 完成 的 工作 。 
由 计算 机 运行 测试 并 不 总 能 做 到 这 一 点 。 

4. 人 工 评 价 一 次 可 以 检测 很 多 问题 ， 甚 至 可 以 尝试 确定 引出 这 些 问 题 的 根源 。 往 往 发 现 
同一 个 根源 可 以 解决 多 个 问题 。 典 型 的 情况 是 ， 在 被 动 测试 中 ， 一 个 测试 用 例 一 次 发 现 一 个 
问题 最 多 发 现 若 干 问题 ) 。 这 种 测试 一 般 只 揭示 现象 ， 不 能 给 出 根源 。 因 此 ， 通 过 人 工 评 价 ， 
可 以 显著 缩短 解决 所 有 问题 所 需 的 总 时 间 。 

5. 通过 在 执行 之 前 人 工 测 试 代码 ， 可 以 节约 计算 机 资源 。 当 然 ， 这 是 以 增加 人 工 成 本 为 
代价 的 。 

6. 像 静 态 测 试 这 样 的 主动 测试 可 以 最 大 程度 地 缩短 发 现 问题 的 延迟 时 间 。 第 1 章 已 经 介绍 
过 ， 发 现 、 修 改 缺 陷 越 早 ， 解 决 缺陷 的 成 本 越 低 。 

7. 从 心理 学 角度 看 ， 在 生存 周期 的 后 期 (例如 代码 已 经 编译 并 正在 集成 系统 ) 发 现 缺 陷 
会 对 程序 员 产 生 很 大 的 压力 ， 他 们 不 得 不 用 更 短 的 时 间 改 正 缺 陷 。 在 这 种 压力 作用 下 ， 更 有 
可 能 引入 其 他 缺陷 。 

有 多 种 人 工 静 态 测试 方法 ，( 按 形式 化 程度 排列 ) 包括 : 

1. 代码 的 桌面 检查 

2. 代码 走 查 

3. 代码 评审 

4. 代码 审查 

由 于 人 工 静 态 测试 要 在 代码 编译 执行 前 进行 ， 这 些 方法 中 的 一 些 可 以 看 作 是 面向 过 程 、 
面向 缺陷 预防 或 面向 质量 保证 的 活动 ， 而 不 是 纯粹 的 测试 活动 。 尤 其 是 随 着 这 些 方 法 越 来 越 
形式 化 (例如 Fagan 审 查 )， 这 些 方法 一 般 归 为 “过 程 ”范畴 。 在 形式 化 过 程 模型 ， 例 如 ISO 
9001、CMMI 中 有 了 人 工 静 态 测试 的 位 置 ， 很 少 归 为 “测试 ”范畴 。 但 是 正如 本 书 前 面 已 经 
提 到 的 ， 我 们 从 宏观 的 角度 看 待 “测试 "， 任 何 提 高 产品 质量 的 活动 都 纳入 “测试 ”范畴 。 将 
人 工 静 态 测试 方法 纳入 本 章 内 容 是 因为 这 些 方法 要 观察 程序 代码 。 

下 面 依次 详细 介绍 这 些 方 法 。 

桌面 检查 

桌面 检查 是 一 种 检查 代码 各 部 分 正确 性 的 方法 ,通常 由 代码 的 编写 者 手工 完成 。 这 种 验 
证 通过 将 代码 与 设计 或 规格 说 明 进 行 对 比 ， 保 证 代码 有 效 地 完成 所 期 望 的 工作 。 这 种 桌面 审 
查 工作 大 多 数 程序 员 在 编译 执行 代码 之 前 都 会 做 。 一 旦 发 现 错误 ， 代 码 编写 者 会 立即 对 错误 
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实施 修改 。 这 种 检查 和 改正 错误 的 方法 的 特点 是 : 

1. 没有 可 以 保证 完备 性 的 结构 化 或 形式 化 方法 。 

2. 不 维护 记录 或 检查 单 。 

实际 上 ， 这 种 方法 完全 依靠 代码 编写 者 的 投入 、 勤 奋 和 技能 ， 没 有 过 程 或 结构 保证 或 验 
证 桌面 检查 的 有 效 性 。 这 种 方法 对 于 改正 “明显 ”编程 错误 是 有 效 的 ， 但 是 在 检测 由 于 错误 
理解 需求 或 遗漏 需求 而 引起 的 错误 方面 不 是 很 有 效 。 这 是 因为 开发 人 员 (更 确切 地 说 是 执行 
桌面 检查 的 程序 员 ) 可 能 没有 充分 理解 需求 所 需 的 领域 知识 。 

桌面 检查 的 主要 优点 是 程序 员 非 常 了 解 代码 和 所 使 用 的 程序 设计 语言 ， 很 容易 阅读 和 理 
解 自 己 编写 的 代码 。 另 外 ， 桌 面 检查 是 由 个 人 实施 的 ， 没 有 多 少 进度 安排 或 辅助 支持 开销 。 
不 仅 如 此 ， 桌 面 检查 还 能 以 最 短 的 时 间 延 迟 发 现 并 改正 缺陷 。 

桌面 检查 的 缺点 包括 ; 

1. 开发 人 员 不 是 检查 自己 编写 的 代码 的 最 佳人 选 。 他 们 可 能 受 惯性 思路 的 限制 ， 难 以 看 
出 某 些 类 型 的 问题 。 

2. 开发 人 员 一 般 更 喜欢 编写 新 代码 ， 而 不 是 做 任何 形式 的 测试 。( 本 节 在 谈论 挑战 、 第 13 
章 在 讨论 人 员 问题 时 将 更 深入 地 分 析 这 种 综合 症 。) 

3. 桌面 检查 基本 上 是 依靠 人 的 ， 是 非 形式 化 的 ， 因 此 可 能 很 难 在 所 有 开发 人 员 中 产生 一 
致 的 效果 。 

由 于 桌面 检查 有 这 些 缺 点 ， 以 下 介绍 两 种 其 他 主动 测试 方法 。 代 码 走 查 和 正式 审查 ( 代 
码 审查 ) 的 基本 原则 包括 审查 过 程 中 的 多 人 参与 。 

代码 走 查 

代码 走 查 和 下 一 节 将 要 讨论 的 正式 评审 都 是 面向 小 组 的 方法 。 代 码 走 查 比 代码 审查 的 形 
式 化 程度 低 。 走 查 和 审查 之 间 的 形式 化 界限 并 不 非常 清楚 ， 各 个 组 织 的 做 法 也 有 很 大 差异 。 
代码 走 查 相 比 桌面 检查 的 优点 是 引入 了 多 视角 。 在 代码 走 查 中 ， 由 一 组 人 员 检 查 程序 代码 并 
向 代码 编写 者 提出 问题 。 程 序 编写 者 解释 代码 的 逻辑 ， 回 答 大 家 提出 的 问题 。 如 果 代码 编写 
者 对 有 些 问题 不 能 给 出 回答 ， 则 需要 带 回去 找 出 答案 。 代 码 走 查 的 完备 性 受 走 查 组 所 提问 题 
范围 的 限制 。 

正式 审查 

正式 评审 代码 审查 又 叫做 Fagan 审 查 (以 代码 审查 最 早 提 出 者 的 名 字 命名 ) ， 一 般 具 有 很 
高 的 形式 化 程度 。 代 码 审查 的 关注 点 是 检测 所 有 缺陷 、 违 规 和 其 他 副作用 。 通 过 以 下 措施 代 
码 审查 可 以 增加 所 检测 的 缺陷 数 : 

1. 要 求 在 审查 /评审 前 作 充分 准备 ， 

2. 列 出 多 个 不 同 的 视角 ， 

3. 为 多 个 参与 者 分 配 具 体 的 角色 ， 

4. 以 结构 化 的 方式 顺序 走 遍 代 码 。 

正式 审查 只 有 在 代码 编写 者 已 经 确认 代码 经 过 基本 的 桌面 检查 和 代码 走 查 ， 可 以 进行 审 
查 时 才能 进行 。 如 果 代 码 处 于 这 种 合理 的 审查 就 绪 状 态 就 可 以 安排 审查 会 议 了 。 审 查 有 四 种 
角色 。 首 先是 代码 的 编写 者 ， 其 次 是 协调 页 ， 负 责 审查 能 够 形式 化 地 按照 过 程 进 行 ， 第 三 个 
角色 是 审查 员 ， 对 代码 实际 给 出 评审 意见 ， 一 般 有 多 位 ， 最 后 是 记录 员 ， 负 责 在 审查 会 上 详 
细 记 录 ， 并 在 会 后 将 会 议 记 录 提 供给 与 会 人 员 。 

审查 组 由 代码 编写 者 或 协调 员 选 定 。 被 选 定 的 人 员 要 具备 尽 可 能 多 地 发 现 缺陷 的 能 
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在 预备 会 上 ， 评 审 员 应 得 到 待 审查 代码 的 硬 拷 贝 或 软 拷贝 ， 以 及 其 他 支持 性 文档 ， 例 如 设计 
文档 、 需 求 文 档 和 所 有 可 使 用 的 标准 。 代 码 编写 者 还 要 说 明 待 审查 程序 预期 完成 的 工作 ， 以 
及 其 希望 审查 组 需要 特别 注意 的 问题 。 协 调 员 通知 审查 组 召开 审查 会 的 时 间 和 地 点 。 审 查 员 
要 有 足够 的 时 间 通 读 文档 和 程序 ， 以 确保 文档 和 程序 符合 需求 、 设 计 和 标准 。 

审查 组 在 规定 的 时 间 召 开 审 查 会 (又 叫做 缺陷 记录 会 ) 。 协 调 员 带 领 审查 组 从 头 到 尾 顺序 
地 审查 程序 代码 ， 询 问 每 个 审查 员 在 哪 部 分 代码 中 是 否 发 现 缺 陷 。 如 果 有 审查 员 提出 发 现 了 
缺陷 ， 则 审查 组 集中 讨论 该 缺陷 ， 确 定 所 提出 的 问题 确实 是 否 缺陷 ， 并 按 两 个 要 素 将 其 分 类 ， 
即 轻微 抽 陷 /严重 款 陷 和 系统 性 缺陷 /偶发 性 缺陷 。 顾 名 思 义 ， 偶 发 性 缺陷 是 指 由 于 编写 者 自身 
的 错误 或 玻 忽 引入 的 缺陷 。 偶 发 性 缺陷 不 太 可 能 再 在 本 工作 产品 或 其 他 工作 产品 中 反复 出 现 。 
偶发 性 缺陷 的 一 个 例子 是 在 语句 中 使 用 了 一 个 错误 的 变量 。 而 系统 性 缺陷 需要 在 不 同 层 次 上 
采取 措施 。 例 如 ， 使 用 了 某 种 与 具体 机 器 有 关 的 方法 引起 的 错误 。 解 决 这 样 的 问题 可 能 需要 
修改 编码 标准 。 类 似 地 ， 轻 微 缺陷 不 会 严重 影响 程序 ， 而 严重 缺陷 需要 特别 关注 。 

记录 员 要 将 审查 会 上 发 现 的 缺陷 正式 形成 文档， 代码 编写 者 负责 修改 这 些 缺 陷 。 如 果 所 
发 现 的 缺陷 很 严重 ， 审 查 组 可 以 召开 评审 会 ， 对 缺陷 修改 情况 进行 审查 ， 以 保证 问题 得 到 解 
决 。 不 管 是 否 召 开 评 审 会 ， 通 过 审查 发 现 的 缺陷 都 需要 进行 跟踪 ， 直 到 审查 组 的 某 个 成 员 已 
经 验证 所 发 现 的 问题 已 经 得 到 妥善 解决 。 

组 合 各 种 方法 

以 上 讨论 的 方法 并 不 是 互 斥 的 。 为 了 更 好 地 达到 尽早 发 现 缺陷 的 目标 ， 需 要 合理 地 组 合 
使 用 这 些 方法 。 

实践 证 明正 式 审查 在 尽早 发 现 缺 陷 方面 是 非常 有 效 的 。 进 行 正 式 审查 需要 关注 的 挑战 包括 ; 

1. 很 费时 间 。 正 式 审 查 过 程 除 举行 正式 审查 会 外 ， 还 要 进行 充分 的 准备 ， 这 是 很 费时 间 的 。 

2. 由 于 涉及 多 人 参加 ， 支 持 条 件 和 进度 安排 可 能 成 为 问题 。 

3. 要 记 住 多 个 参数 及 其 组 合 才 能 确保 程序 逻辑 、 副 作用 和 错误 处 理 的 正确 ， 因 此 并 不 总 
能 通读 每 行 代 码 。 可 能 不 必 对 全 部 代码 进行 正式 审查 。 

为 了 应 对 这 些 挑战 ， 需 要 在 策划 阶段 确定 正式 审查 要 处 理 的 部 分 代码 。 可 以 根据 关键 级 
别 或 “高 “中 ”“ 低 ”复杂 度 将 各 部 分 代码 分 类 ， 高 或 中 复杂 度 的 关键 代码 应 该 作为 正式 
审查 的 对 象 ， 而 复杂 度 低 的 代码 可 以 作为 代码 走 查 甚 至 桌面 检查 的 对 象 。 

桌面 检查 、 走 查 、 评 审 和 审查 不 仅 用 于 代码 ， 也 可 以 用 于 项 目 生 存 周期 内 的 所 有 其 他 可 
交付 产品 ， 例 如 文档 、 二 进 制 代码 和 介质 。 


3.2.2 静态 分 析 工具 


前 面 介绍 过 的 评审 和 审查 机 制 需 要 大 量 人 工 工作 。 现 在 市 场 上 已 经 有 一 些 静态 分 析 工 具 
可 以 减少 人 工 工作 ， 并 对 代码 进行 分 析 ， 以 找 出 以 下 列 出 的 错误 : 
是 否 有 不 可 达 的 代码 (使 用 GOTO 语 句 有 了 时 会 出 现 这 种 情况 。 可 能 还 有 其 他 原因 ) 
定义 的 变量 没有 使 用 
变量 的 定义 和 分 配 值 类 型 不 匹配 
变量 非法 或 易 出 错 的 赋值 
使 用 了 不 可 移植 或 依赖 体系 结构 的 程序 设计 结构 
分 配 了 内 存 ， 但 是 没有 相应 的 语句 释放 
计算 圈 复 杂 度 〈 在 3.3 节 介绍 ) 


人 
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这 些 分 析 工 具 还 可 以 看 作 是 编译 器 的 一 种 扩展 ， 因 为 静态 分 析 工具 在 定位 错误 方面 使 用 
了 与 编译 器 系统 相同 的 概念 和 实现 。 好 的 编译 器 也 是 静态 分 析 工 具 。 例 如 ， 大 多 数 C 编 译 器 都 
提供 不 同 “层次 ”的 代码 检查 ， 以 捕获 以 上 给 出 的 各 种 类 型 的 程序 设计 错误 。 

有 些 静 态 分 析 工 具 也 可 以 检查 像 POSIX 这 样 的 标准 所 描述 的 编码 标准 的 符合 性 。 这 些 工 
具 还 可 以 检查 与 编码 指南 的 一 致 性 例如， 命名 规则 、 人 允许 的 数据 类 型 、 可 以 使 用 的 程序 设 
计 结 构 等 ) 。 

不 论 采 用 哪 种 人 工 检 查 方法 ， 包 括 桌 面 检查 、 走 查 、 正 式 审查 ， 列 出 代码 评审 检查 单 都 
是 很 有 用 的 。 以 下 给 出 的 是 包含 常见 问题 的 检查 单 。 每 个 组 织 都 应 该 制定 自己 的 代码 评审 检 
查 单 。 检 查 单 应 该 不 断 更 新 ， 以 反映 最 新 发 现 的 问题 。 

对 于 有 多 个 产品 的 公司 ， 检 查 单 可 能 要 分 成 两 个 层次 。 公 司 级 检查 单 包 括 诸 如 全 公司 的 
编码 标准 、 文 档 标准 等 内 容 。 其 次 ， 产 品 或 项 目 级 检查 单 描述 与 具体 产品 或 项 目 有 关 的 内 容 。 


代码 评审 检查 单 


关于 数据 项 定义 

。 变量 的 名 称 有 意义 吗 ? 

。 如 果 程 序 设 计 语 言 允 许 在 名 称 中 混用 大 小 写字 了 母 ， 那 么 变量 名 称 的 大 小 写字 母 使 用 
是 否 会 产生 误解 ? 

。 变量 初始 化 了 吗 ? 

。 有 发 音 很 近似 的 名 称 吗 (特别 是 单 复数 的 使 用 ) ? [这 类 情况 可 能 产生 意外 错误 。] 
。 所 使 用 的 公共 结构 、 常 量 和 标志 都 是 在 头 文 件 中 而 不 是 在 各 个 独立 的 文件 中 定义 
的 吗 ? 


关于 数据 的 使 用 

。 是 否 将 数据 类 型 正确 的 值 赋 给 变量 ? 

。 所 有 标准 文件 或 数据 库 对 数据 的 方法 部 是 通过 公开 支持 的 接口 吗 ? 

。 如 果 使 用 了 指针 ， 指 针 是 否 被 恰当 地 初始 化 ? 

。 数组 下 标 边界 和 指针 是 否 被 恰当 地 检查 ? 

。 相似 操作 符 的 使 用 是 否 检查 了 (例如 C 语 言 中 的 = 和 ==， 以 及 帮 和 以 以 ) ? 


关于 控制 流 

。 所 有 条 件 路 径 都 是 可 达 的 吗 ? 

。 复合 条 件 中 的 所 有 单个 条 件 是 否 都 独立 地 计算 过 ? 

。 如 果 有 网 套 IF 语 向 ， 是 否 恰 当地 分 开 了 THEN 和 ELSE 部 分 ? 

。 对 于 多 向 分 支 ， 例 如 SWITCH/CASE 语 向 ， 是 否 给 出 了 默认 条 件 ? 每 个 CASE 后 是 
否 恰当 地 给 出 退出 处 理 ? 

。 有 不 可 达 的 代码 吗 ? 

有 永远 也 执行 不 了 的 循环 吗 ? 

。 有 最 终 条 件 永远 满足 不 了 ， 使 程序 进入 死 循环 状态 的 循环 吗 ? 

。 误 套 条 件 语句 的 层次 是 多 少 ? 能 对 代码 进行 简化 以 降低 复杂 度 吗 ? 


关于 语句 
。 代码 遵循 了 组 织 的 编码 规则 吗 ? 
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”代码 遵循 了 与 具体 平台 有 关 的 编码 规则 (例如 Windows 或 Swing 专用 的 GUI 调用 ) 吗 ? 


关于 风格 

。 程序 中 使 用 了 不 良 的 程序 设计 结构 (例如 C 中 的 全 局 变量 、COBOL 中 的 ALTER 语 
铅 ) 吗 ? 

"是 否 使 用 特定 机 器 体系 结构 或 下 层 产 品 指定 版 本 的 特殊 性 质 (例如 使 用 “没有 列 入 
产品 文档 中 ”的 功能 ) ? 

。 在 可 读 性 问题 上 ， 例 如 遵循 代码 缩 进 格式 规则 ， 给 予 足够 重视 了 吗 ? 


其 他 
"是 否 检查 了 内 存 泄漏 (例如 分 配 了 内 存 但 没有 明确 释放 ) ? 


关于 文档 

。 对 于 代码 ， 特 别 是 逻辑 很 复杂 或 对 于 整个 产品 正常 运行 非常 关键 的 代码 ， 是 否 有 足 
够 的 注释 说 明 ? 

。 是 否 很 好 地 记录 了 变更 历史 ? 

。 文 档 中 很 好 地 说 明 接 口 和 参数 了 吗 ? 


3.3 结构 测试 


结构 测试 要 考虑 代码 、 代 码 的 结构 、 内 部 设计 以 及 设计 是 如 何 转化 为 代码 的 。 结 构 测 试 
和 静态 测试 之 间 的 基本 区 别 是 结构 测试 实际 上 是 由 计算 机 在 已 构建 的 产品 上 运行 ， 而 在 静态 
测试 中 ， 产 品 是 通过 人 工 只 使 用 源 代码 ， 而 不 是 可 执行 代码 或 二 进 制 代码 进行 测试 的 。 

结构 测试 需要 采用 一 些 预 先 设 计 的 测试 用 例 运 行 实际 产品 ， 考 察 尽 可 能 多 或 有 必要 执行 
的 代码 。 如 果 在 运行 测试 用 例 时 ， 测 试用 例 使 程序 执行 给 定 部 分 的 代码 ， 那 么 这 部 分 代码 被 
认为 是 经 过 考察 的 。 

本 章 开始 已 经 说 过 ， 结 构 测 试 可 以 进一步 分 为 单元 /代码 功能 测试 、 代 码 覆 盖 和 代码 复杂 
度 测 试 。 


3.3.1 单元 /代码 功能 测试 


单元 /代码 功能 测试 是 结构 测试 的 基本 部 分 ， 包 括 开 发 人 员 在 将 代码 提交 更 深入 的 代码 覆 
盖 测 试 或 代码 复杂 度 测试 之 前 所 进行 的 一 些 快速 检查 。 单 元 /代码 功能 测试 有 多 种 方法 : 

1. 第 一 步 ， 由 于 开发 人 员 了 解 输 入 变量 和 对 应 的 预期 输出 变量 ， 可 以 执行 一 些 容易 的 测 
试 。 这 可 以 是 快速 测试 ， 检 查 所 有 明显 的 错误 。 通 过 以 不 同 的 输入 变量 取 值 重复 这 些 测 试 ， 
开发 人 员 的 自信 心 会 不 断 提高 。 这 种 测试 甚至 可 以 在 静态 测试 的 正式 审查 之 前 开展 ， 使 正式 
评审 人 员 不 会 在 处 理 明显 错误 上 浪费 时 间 。 

2. 对 于 包含 复杂 逻辑 或 条 件 的 模块 ， 开 发 人 员 可 以 构建 产品 的 一 种 “调试 版 本 ， 加 入 一 
些 中 间 打 印 语句 ， 以 保证 程序 通过 恰当 的 循环 和 迭代 合适 的 次 数 。 重 要 的 是 一 定 要 在 修改 了 
缺陷 之 后 删除 这 些 中 间 打 印 语句 。 

3. 执行 初始 测试 的 另 一 种 方法 是 在 调试 器 下 或 集成 开发 环境 (IDE) 中 运行 被 测 产品 。 这 
些 工 具 使 开发 人 员 能 够 单 步 执 行 语句 〈 使 开发 人 员 能 够 在 执行 每 条 语句 后 停 下 来 ， 观 察 或 修 
改变 量 内 容 ， 等 )， 在 任意 函数 或 指令 处 设置 断 点 ， 并 观察 各 种 系统 参数 或 程序 变量 值 。 


36 第 二 部 分 测 不 类 型 





以 上 所 述 活动 更 像 “ 调 试 ”活动 而 不 是 “测试 ”活动 。 不 管 怎样 ， 这 些 活动 都 与 代码 结 
构 知 识 密切 相关 ， 因 此 本 书 把 这 些 活 动 冠 以 “ 白 盒 测试 "。 这 与 我 们 的 测试 包含 所 有 检测 和 更 
正 产品 缺陷 的 活动 的 理念 是 一 致 的 。 


3.3.2 代码 覆盖 测试 


由 于 产品 是 通过 程序 代码 实现 的 ， 如 果 可 以 运行 测试 用 例 考 察 代码 的 不 同 部 分 ， 那 么 由 
这 些 代码 实现 的 产品 的 那 一 部 分 就 是 经 过 测试 的 。 代 码 覆盖 测试 包括 设计 和 执行 测试 用 例 ， 
并 确定 由 测试 覆盖 的 代码 百分比 。 测 试 的 代码 覆盖 百分比 是 通过 采用 叫做 代码 插 桩 的 技术 确 
定 的 。 插 桩 重新 构建 产品 ， 将 产品 与 由 工具 提供 商 提供 的 一 组 数据 库 关联 起 来 。 插 桩 后 的 代 
码 可 以 监视 并 记录 被 覆盖 的 代码 。 这 种 工具 还 可 以 列 出 被 频繁 覆盖 的 代码 ， 由 此 可 以 确定 关 
键 或 最 常 使 用 的 代码 。 

代码 覆盖 测试 确定 以 下 几 类 覆盖 

1. 语句 覆盖 

2. 路 径 履 盖 

3. 条 件 有 覆盖 

4. 功能 覆盖 

语句 覆盖 

大 多 数 传统 程序 设计 语言 的 程序 结构 都 有 以 下 特征 : 

1. 串 行 的 控制 流 

2. 两 个 方 同 的 判断 语句 ， 例 如 if then else 

3. 多 个 方向 的 判断 语句 ， 例 如 switch 

4. 循环 ， 例 如 while do、repeat until 和 for 

面向 对 象 的 语言 具有 所 有 以 上 特征 ， 此 外 还 有 一 些 其 他 结构 和 概念 。 这 些 问题 将 在 第 11 
章 讨论 ， 这 里 只 讨论 传统 语言 。 

语句 覆盖 就 是 编写 测试 用 例 执行 每 行程 序 语 句 。 可 以 假设 覆盖 的 代码 越 多 程序 功能 测试 
得 越 好 ， 因 为 程序 功能 是 由 代码 实现 的 。 根 据 这 个 假设 ,代码 履 盖 可 以 通过 确定 以 上 每 种 类 
型 的 语句 覆盖 率 实 现 。 

对 于 由 顺序 执行 ( 即 没 有 条 件 分 支 ) 的 语句 组 成 的 代码 ， 可 以 设计 测试 用 例 自 顶 向 下 贯 
穿 运行 。 从 头 开 始 的 测试 用 例 一 般 会 执行 到 这 段 代码 的 最 后 。 但 是 ， 并 不 总 是 这 种 情况 。 首 
先 ， 如 果 程 序 遇 到 异步 例外 (例如 除 零 )， 即 使 测试 用 例 是 从 这 有 段 程序 的 开始 部 分 执行 的 ， 该 
测试 用 例 也 可 能 不 会 覆盖 这 段 代 码 的 全 部 语句 。 因 此 ， 即 使 是 在 串 行 语句 代码 中 ， 也 有 可 能 
不 能 实现 所 有 语句 的 覆盖 。 其 次 ， 一 个 程序 段 可 能 有 多 个 入 口 点 。 尽 管 这 并 不 符合 结构 化 程 
序 设计 的 要 求 ， 但 是 在 早期 的 程序 设计 语言 中 ， 这 种 情况 很 常见 。 

在 考虑 像 if 语 句 这 样 的 双向 判断 结构 时 ， 既 要 有 覆盖 所 有 语句 ， 还 要 和 履 盖 if 语 句 的 then 
部 分 和 else 部 分 。 这 意味 着 对 于 每 个 1f then else， 都 必须 (至少) 用 一 个 测试 用 例 测 
试 then 部 分 ，( 至 少 ) 用 一 个 测试 用 例 测试 else 部 分 。 

对 于 像 switch 语 句 这 样 的 多 向 判断 结构 ， 可 以 归结 为 多 个 双向 if 语 句 。 因 此 ， 为 了 用 
盖 所 有 可 能 的 switch 分 支 ， 需要 多 个 测试 用 例 。( 把 这 个 问题 描述 留 作 练习 。) 

循环 结构 有 更 多 的 问题 需要 考虑 。 循 环 有 很 多 形式 ， 例 如 for 、while、repeat 等 ， 都 
要 重复 执行 一 段 语句 直到 一 定 的 条 件 被 满足 。 很 大 一 部 分 程序 缺陷 是 由 于 循环 设计 错误 引起 
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的 。 常 见 的 情况 是 循环 没有 处 理 好 所 谓 “ 边 界 条 件 ”。 一 种 常见 的 循环 错误 是 没有 描述 好 循环 
的 终止 条 件 。 为 了 确保 提高 循环 内 部 的 语句 覆盖 率 ， 所 设计 的 测试 用 例 需要 : 
1. 完全 跳 过 循环 ， 以 测试 启动 该 循环 之 前 循环 终止 条 件 就 为 真 的 情况 。 
2. 执行 循环 的 次 数 为 一 次 到 最 大 次 数 之 间 ， 以 检查 该 循环 所 有 可 能 的 “正常 ”操作 。 
3. 尝试 覆盖 循环 的 “边界 ”附近 ， 即 如 果 循 环 n 次 ， 则 分 别 测试 循环 恰好 低 于 n、 等 于 n 
和 恰好 高 于 n 次 。 
程序 的 语句 覆盖 用 一 组 测试 实际 执行 过 的 语句 百分比 的 指标 表示 ， 可 以 用 以 下 格式 计算 。 
从 以 上 讨论 不 难看 出 ， 语 句 类 型 从 简单 的 串 行 语句 到 ifE then 
UT, A ee 及 的 加 这 疝 /E 记 生 本 六 
1 章 介 绍 的 Dijkstra 定 律 我 们 知道 ， 就 像 不 可 能 穷尽 地 测试 所 有 可 能 也 
输入 数据 一 样 ， 穷 尽 地 覆盖 程序 的 所 有 语句 在 实践 中 也 是 不 可 能 的 。 
即使 可 以 得 到 很 高 的 语句 覆盖 率 ， 也 并 不 意味 着 程序 就 没有 缺 隐 了。 首先 ， 考 虑 一 个 假 
想 的 例子 ， 假 设 已 经 达到 百分之百 的 代码 覆盖 率 。 如 果 程 序 执行 了 错误 的 需求 ， 而 且 实 现 这 
个 错误 需求 的 代码 经 过 “彻底 测试 ”， 达 到 百分之百 代码 覆盖 率 ， 然 而 这 仍然 是 一 个 错误 的 程 
序 ， 因 此 ， 百 分 之 百代 码 覆 盖 率 并 不 能 说 明 一 切 。 
其 次 ， 考 虑 以 下 例子 : 
total = 0; /* 把 total 设 置 为 零 */ 
if (code == “M”) { 
语句 1; 
语句 2，; 
语句 3; 
语句 4， 
语 名 5; 
语句 6; 
语句 7， 





语 揣 履 盖 率 = (所 考 





percent = value/total*100; Vx 除 以 零 */ 

在 上 面 的 例子 中 ， 如 果 用 code =“M” 测 试 ， 则 可 以 得 到 80% 的 代码 覆盖 率 。 但 是 ， 如 果 
在 现实 世界 中 数据 的 分 布 为 在 90% 的 时 间 code 取 值 不 是 =“M”， 则 这 有 段 程序 有 90% 的 概率 出 错 
(由 于 最 后 一 条 语句 出 现 除 以 零 的 情况 )。 因 此 ， 即 使 代码 覆盖 率 达 到 80%， 仍然 会 留 下 出 错 
概率 90% 的 缺陷 。 以 下 要 讨论 的 路 径 覆 盖 要 解决 这 个 问题 。 

路 径 覆 盖 

在 路 径 覆 盖 中 ， 把 程序 分 为 若干 不 同 的 路 径 。 程 序 (或 程序 的 一 部 分 ) 可 以 从 头 开始 执 
行 ， 并 选择 任何 一 条 路 径 到 达 结 尾 。 

下 面 看 一 个 日 期 确认 的 例 程 。 日 期 是 用 三 个 字段 接收 的 ， 即 mm、 
dd 和 YYyyy。 假 设 对 这 个 例 程 输 入 之 前 ， 已 经 确认 输入 值 的 类 型 是 数 
字 。 为 了 简化 讨论 ,假设 有 一 个 叫做 leapyear 的 函数 ， 如 果 给 出 的 一 一 
年 份 是 国 年 ， 则 函数 返回 TRUE。 还 有 一 个 叫做 DayofMonth 的 数组 ， 包 含 每 个 月 的 天 数 。 图 
3-2 给 出 了 这 个 例 程 经 过 简化 后 的 流程 图 。 

从 图 3-2 中 可 以 看 出 ， 程 序 中 有 不 同 的 路 径 可 以 走 ， 每 条 路 径 用 花 体 字 标 出 。 路 径 
包括 : 


”路 径 厦 盖 率 = (所 考 
察 的 总 路 径 / 程 序 中 的 总 
路 径 ) x 100 
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if (ddq<DaysofMontn [mm] | 1 
dd>DaysofMonth [mm] ) 





Invalid 下 
Date 


图 3-2 日 期 确认 例 程 的 流程 图 


不 考虑 每 条 路 径 中 的 语句 数 ， 如 果 可 以 执行 这 些 路 径 ， 就 说 覆盖 了 大 多 数 典 型 的 场景 。 
与 语句 覆盖 相 比 ， 路 径 覆 盖 给 出 了 更 强 的 覆盖 条 件 ， 因 为 路 径 覆 盖 要 考虑 程序 中 的 各 种 
逻辑 路 径 ， 而 不 只 是 程序 语句 。 
条 件 覆 盖 
在 上 面 的 例子 中 ， 即 使 覆盖 了 所 有 可 能 的 路 径 ， 仍 然 不 能 说 程序 已 完全 测试 了 。 例 如 ， 
可 以 通过 为 mm 赋 一 个 取 值 小 于 1 的 数 (例如 0) 使 程序 走路 径 A， 发 现 可 以 覆盖 路 径 A， 程 序 检 
测 出 该 月 份 值 非法 。 但 是 ， 这 样 还 没有 测试 其 他 条 件 ， 即 mm>12 的 情况 。 不 仅 如 此 ， 大 多 数 
编译 器 都 进行 优化 ， 以 最 大 限度 地 压缩 布尔 操作 的 数量 ， 可 能 没有 计算 所 有 的 条 件 ， 即 使 选 
择 了 正确 的 路 径 。 例 如 ， 如 果 有 一 个 OR 条 件 (以 上 例子 的 第 一 个 IF 语 句 )， 一 旦 发 现 IF 语 名 
的 第 一 部 分 (例如 mm<1) 为 真 ， 就 完全 不 会 再 计算 IF 语句 的 第 二 部 分 ， 因 为 总 的 布尔 值 为 
TRUE。 类 似 地 ， 如 果 布 尔 表达 式 中 有 AND 条 件 ， 当 第 一 个 条 件 为 FALSE 时 就 完全 不 需要 计算 
表达 式 的 其 他 部 分 。 
”条 件 着 盖 率 = (所 考 由 于 所 有 这 些 原因 ， 路 径 测 试 可 能 不 是 充分 的 。 需 要 设计 测试 用 
察 的 总 判断 /程序 中 的 总 例 执 行 每 个 布尔 表达 式 ， 既 要 测试 TRUE 路 径 ， 也 要 测试 FALSE 路 径 。 
判断 ) x100 显然 ， 这 意味 着 要 设计 更 多 的 测试 用 例 ， 而 且 测 试用 例 的 数量 会 随 着 
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布尔 表达 式 数量 的 增加 而 指数 性 地 增加 。 但 是 在 实际 工作 中 ， 这 种 情况 并 不 是 很 糟糕 ， 因 为 
这 些 条 件 通常 存在 相互 依赖 。 

如 边栏 公式 定义 的 条 件 覆 盖 率 给 出 了 由 一 组 测试 用 例 覆 盖 的 条 件 百分比 指标 。 条 件 覆 盖 
率 是 比 路 径 覆 盖 率 强 得 多 的 准则 ， 路 径 覆 盖 率 又 是 比 语句 覆盖 率 强 得 多 的 准则 。 

功能 覆盖 这 是 一 种 新 的 结构 测试 ， 用 来 指示 测试 用 例 覆 盖 了 多 少 程序 功能 (类 似 C 语 言 
中 的 函数 )。 

产品 的 需求 在 设计 阶段 映射 到 功能 ， 每 个 功能 构成 一 个 逻辑 单元 。 例 如 ， 在 数据 库 软 件 
中 ,“ 在 数据 库 中 插入 一 行 ”可 以 是 一 个 功能 ， 而 在 工资 管理 应 用 系统 中 ,，“ 计 算 税 额 ”可 以 
是 一 个 功能 。 每 个 功能 反 过 来 又 可 以 通过 其 他 功能 实现 。 通 过 功能 覆盖 率 ， 可 以 设计 测试 用 
例 考察 代码 中 的 每 个 不 同 功能 。 与 其 他 类 型 的 覆盖 率 相 比 ， 功 能 覆盖 率 的 优点 有 : 

1. 功能 在 程序 中 很 好 确定 ， 因 此 更 容易 编写 测试 用 例 ， 增 加 功能 覆盖 率 。 

2. 由 于 与 代码 相 比 功能 处 于 高 得 多 的 抽象 层次 ， 因 此 ， 达 到 百分之百 的 功能 覆盖 率 比 达 
到 百分之百 的 其 他 覆盖 率 更 容易 。 

3. 功能 对 需求 的 映射 更 有 逻辑 性 ， 因 此 可 以 给 出 产品 测试 覆盖 率 更 直接 的 关联 性 。 下 一 
章 将 讨论 需求 跟踪 矩阵， 用 来 完成 设计 、 编 码 和 测试 阶段 对 需求 的 跟踪 。 功 能 提供 了 实现 这 
种 跟踪 的 一 种 手段 ， 功 能 覆盖 率 提供 了 测试 这 种 跟踪 性 的 方法 。 

4. 由 于 功能 是 实现 需求 的 一 种 手段 ， 因 此 可 以 根据 其 所 实现 的 需求 重要 性 确定 功能 的 优 
先 级 ， 从 而 更 容易 确定 功能 测试 的 优先 级 。 前 面 介绍 的 覆盖 率 方法 不 一 定 能 做 到 这 一 点 。 

5. 功能 覆盖 提供 到 黑 盒 测试 的 自然 迁移 。 

我 们 还 要 度量 给 定 功能 被 调用 的 次 数 。 这 个 指标 可 以 指示 哪个 功能 最 常 使 用 ， 因 此 该 功 
能 会 成 为 所 有 性 能 测试 和 优化 的 目标 。 例 如 ， 如 果 在 一 个 网 络 软件 中 发 现 最 经 常 使 用 的 是 数 





据 包 封 装 和 和 解 封 的 功能 ， 那 么 花费 额外 的 精力 改进 这 个 功能 的 质量 和 功能 着 盖 率 上 (所 执 
性 能 是 合适 的 。 因 此 ， 功 能 覆盖 除了 能 够 帮助 改进 产品 的 质量 ， 还 能 行 的 总 功能 /程序 中 的 总 
够 帮助 改进 性 能 。 功能 ) x100 





小 结 - 

代码 覆盖 测试 包括 采用 预先 编写 的 测试 用 例 执行 产品 ， 并 找 出 对 代码 的 覆盖 情况 的 “ 动 
态 测 试 "。 如 果 要 求 更 高 的 代码 覆盖 率 ， 则 可 能 需要 多 轮 的 测试 。 对 于 每 轮 测试 ， 测 试 人 员 都 
要 仔细 研究 上 一 轮 的 统计 数据 ， 并 编写 新 的 测试 用 例 ， 以 覆盖 没有 被 以 前 的 测试 用 例 覆 盖 的 
代码 。 为 了 完成 这 类 测试 ， 测 试 人 员 不 仅 需 要 了 解 代 码 和 逻辑 ， 还 要 了 解 如 何 编写 能 够 覆盖 
更 多 代码 的 有 效 的 测试 用 例 。 这 类 测试 也 可 以 叫做 “ 灰 盒 测试 ”， 因 为 这 类 测试 为 了 提高 有 效 
性 ， 综 合 使 用 了 “ 白 盒 和 黑 盒 测试 方法 论 ”( 白 + 黑 = 灰 ) 。 

因此 ， 更 高 的 代码 覆盖 率 源 自 对 代码 流 的 更 好 理解 和 编写 有 效 的 测试 用 例 。 一 般 可 以 达 
到 40 儿 一 50% 的 代码 覆盖 率 ， 超 过 80 色 的 代码 覆盖 率 就 要 花费 大 量 的 精力 和 理解 代码 。 

本 书 到 这 里 为 止 介绍 过 的 多 种 代码 覆盖 技术 并 不 是 相互 排斥 的 ， 而 是 相互 补充 、 完 善 。 
虽然 语句 覆盖 可 以 提供 一 种 基本 指标 ， 但 是 路 径 、 判 断 和 功能 覆盖 通过 考察 各 种 逻辑 路 径 和 
功能 可 以 提供 更 具 参 考 价值 的 指标 。 

以 上 讨论 研究 了 针对 各 种 功能 需求 的 代码 覆盖 测试 的 使 用 ， 这 些 测试 方法 还 有 其 他 用 途 。 

。 性 能 分 析 和 优化 代码 覆盖 测试 可 以 确定 最 常 执行 的 代码 区 域 ， 这 样 就 可 以 更 关注 这 部 

分 代码 。 如 果 再 作 努 力也 不 能 再 提高 其 性 能 ， 那 么 可 以 考虑 使 用 其 他 策略 ， 例 如 缓存 。 
代码 覆盖 测试 可 以 提供 有 助 于 做 出 这 种 面向 性 能 决策 的 信息 。 


40 第 二 部 分 测 大 类 型 





。 资源 使 用 分 析 白 盒 测 试 特 别 是 通过 揪 桩 后 的 代码 进行 的 白 盒 测 试 ， 有 助 于 确定 资源 使 
用 方面 的 瓶颈 。 如 果 发 现 特定 资源 ， 例 如 RAM 或 网 络 是 瓶颈 ， 那 么 经 过 插 桩 的 代码 可 
以 帮助 确定 瓶颈 的 具体 位 置 ， 从 而 提出 可 能 的 解决 方案 。 

检查 关键 代码 或 与 并 发 处 理 有 关 的 代码 关键 代码 是 不 能 由 多 个 进程 同时 执行 的 代码 。 
采用 插 桩 代码 进行 的 覆盖 测试 是 确定 这 种 关键 代码 并 发 约束 冲突 的 最 佳 手段 之 一 。 
确定 内 存 泄漏 由 进程 申请 分 配 (例如 通过 C 语 言 中 的 malloc) 的 每 块 内 存 都 需要 显 式 
地 释放 (例如 通过 C 语 言 中 的 Eree) 。 如 果 不 这样 ， 所 分 配 的 内 存 就 会 “丢失 “， 可 使 
用 的 内 存 就 会 逐渐 减少 。 经 过 一 段 时 间 后 ， 会 没有 内 存 可 分 配给 新 提出 的 内 存 申 请 ， 
各 个 进程 会 因此 而 出 现 问题 。 各 种 白 盒 测试 方法 有 助 于 确定 内 存 泄 漏 。 大 多 数 调试 器 
或 插 桩 代码 可 以 检查 内 存 的 分 配 和 释放 操作 是 否 成 对 。 

动态 生成 的 代码 白 盒 测试 有 助 于 有 效 地 确定 安全 漏洞 ， 特 别 是 动态 生成 的 代码 的 安全 
漏洞 。 在 动态 生成 和 执行 的 代码 中 ， 需 要 动态 测试 生成 代码 的 功能 。 例 如 ， 在 使 用 Web 
服务 时 ， 可 能 出 现 从 用 户 处 接受 一 些 参数 并 生成 html/java 代 码 ， 再 传送 给 远程 计算 机 执 
行 的 情况 。 由 于 执行 了 这 种 事务 或 服务 后 生成 代码 就 退出 执行 ， 因 此 测试 生成 代码 要 
求 测试 人 员 具 有 编码 知识 。 因 此 ， 本 章 讨论 过 的 各 种 白 盒 测试 技术 就 派 上 了 用 场 。 


3.3.3 代码 复杂 度 测 试 


前 面 几 节 讨 论 了 可 用 来 测试 程序 的 不 同类 型 的 覆盖 ， 但 是 运用 这 些 覆 盖 有 两 个 问题 : 

1. 哪些 路 径 是 独立 的 ? 如 果 两 条 路 径 不 独立 ， 那 么 就 有 可 能 最 小 化 测试 数量 。 

2. 为 了 保证 所 有 指令 至 少 执行 一 次 ， 是 否 存在 必须 运行 的 最 少 测试 数 的 边界 ? 

图 复杂 度 是 一 种 量化 程序 复杂 度 的 指标 ， 可 以 回答 上 面 两 个 问题 。 

程序 可 以 用 流程 图 表示 。 流 程 图 由 节点 和 边 组 成 。 为 了 把 标准 的 流程 图 转换 为 一 种 可 以 
计算 圈 复 杂 度 的 流程 图 ， 可 以 采用 以 下 步骤 : 

1. 找 出 程序 中 的 谓词 或 判断 点 (一般 是 布尔 表达 式 或 条 件 语 句 )。 

2. 确保 这 些 谓词 是 简单 的 ( 即 在 每 个 谓词 中 没有 and 或 or 等 )。 图 3-3 给 出 了 把 包含 or 的 谓 
词 分 解 为 简单 谓词 的 方法 。 类 似 地 ， 如 果 有 循环 结构 ， 要 把 循环 终止 检查 分 解 为 简单 的 谓词 。 





a) 带 有 布尔 OR 的 谓词 b) 一 组 等 效 的 简单 谓词 
图 3-3 将 OR 流程 图 转换 为 简单 谓词 


3. 将 所 有 顺序 语句 合并 为 一 个 节点 ， 因 为 一 旦 开始 这 些 语句 都 要 执行 。 
4. 如 果 一 组 串 行 语句 后 面 接 简单 谓词 (如 以 上 第 2 点 所 述 )， 把 所 有 串 行 语句 和 谓词 检查 
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合并 成 为 一 个 节点 ， 并 通过 这 个 节点 引出 两 条 边 。 这 种 拥有 两 条 边 的 节点 叫做 谓词 节点 。 
5. 确保 所 有 边 终 止 于 同一 个 节点 上 ， 在 程序 结尾 处 增加 一 个 节点 表示 所 有 串 行 语 句 。 
采用 以 上 转换 规则 将 传统 流程 图 转换 为 如 图 3-4 所 示 的 流程 图 。 参 见 彩 图 ， 读 者 可 以 看 得 
更 清晰 。 图 3-4a 中 用 深浅 色 区 分 的 流程 图 元 素 映 射 到 图 3-4b 中 对 应 颜色 的 流程 图 节点 元 素 。 


传统 流程 图 计算 复杂 度 的 流程 图 























a) b) 
图 3-4 将 传统 流程 图 转换 为 可 计算 复杂 度 的 流程 图 


开始 ， 流 程 图 和 圈 复 杂 度 直观 地 反映 了 程序 逻辑 流程 的 复杂 性 和 程序 中 的 独立 路 径 数量 。 
对 于 复杂 度 和 独立 路 径 的 主要 贡献 是 程序 的 判断 点 。 考 虑 一 个 没有 判断 点 的 假想 程序 。 这 种 
程序 的 流程 图 如 图 3-5 所 示 ， 拥 有 两 个 节点 ， 一 个 对 应 代码 ， 一 个 对 应 终止 节点 。 由 于 所 有 串 
行 步 又 都 合并 为 一 个 节点 〈 第 一 个 节点 ) ， 因 此 只 有 一 条 边 将 两 个 节点 连接 起 来 。 这 条 边 是 唯 
一 的 独立 路 径 。 因 此 ， 对 于 这 个 流程 图 来 说 ， 圈 复杂 度 等 于 1。 








‘ 
。 独立 路 径 数 =1。 圈 复杂 度 =E-N+2=1 
。 节 点 数 N=2 。 谓词 节点 数 P=0 
。 边 数 E=1 。 圈 复杂 度 =P+1=1 








图 3-5 没有 判断 点 的 假想 程序 


这 个 流程 图 没有 谓词 节点 ， 因 为 没有 判断 点 。 因 此 ， 圈 复杂 度 还 等 于 谓词 节点 数 
(0) +1。 
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请 注意 ， 在 这 个 流程 图 中 ， 边 (E)=1， 节 点 (N)=2。 圈 复杂 度 还 等 





圈 复 杂 度 = 谓词 节点 
数 +1 
图 复 杂 度 =E 一 N+2 


于 1=1+2 一 2=E 一 N+2。 

如 图 3-6 所 示 ， 如 果 在 流程 图 中 增加 谓词 节点 ， 明 显 就 会 有 两 条 
独立 路 径 ， 一 条 对 应 布尔 条 件 为 TRUE， 一 个 对 应 布尔 条 件 为 FALSE。 
因此 ， 图 3-6 的 圈 复 杂 度 是 2。 


。 独立 路 径 数 =2。 圈 复 杂 度 =E 一 N+2=2 


。 市 点 数 N=4 。 谓词 节点 数 P=1 
。 边 数 E=4 。 圈 复杂 度 =P+1=2 





图 3-6 增加 一 个 判断 节点 


这 个 独立 路 径 数 是 2， 恰 好 又 等 于 谓词 节点 数 〈1) +1。 如 果 增 加 一 个 谓词 节点 (一 个 有 
两 条 边 的 节点 ) ， 圈 复杂 度 就 增加 1， 因 为 E-N+2 公 式 中 的 “N” 不 变 ,“E” 加 1。 结 果 ， 使 用 
E 一 N+2 这 个 公式 也 可 以 算出 圈 复 杂 度 。 

从 以 上 解释 读者 可 能 对 圈 复杂 度 两 种 不 同 的 计算 方法 和 对 应 的 确定 程序 独立 路 径 的 圈 复 
杂 度 有 了 一 定 的 认识 。 本 书 归 纳 了 这 些 公式 ,但 没有 进行 证 明 。 可 以 肯定 的 是 这 些 公 式 非常 
有 用 。 

以 上 两 个 公式 提供 了 通过 流程 图 计算 圈 复 杂 度 的 一 种 简单 方法 。 实 际 上 第 一 个 公式 其 
至 在 没有 流程 图 的 情况 下 也 可 以 使 用 ， 因 为 可 以 直接 统计 基本 谓词 的 数量 。 根 据 图 论 基本 
理论 还 可 以 导出 其 他 圈 复 杂 度 公式 ， 这 里 就 不 介绍 了 ， 感 兴趣 的 读者 可 以 参考 本 章 后 面 的 
参考 文献 。 

使 用 流程 图 ， 独 立 路 径 可 以 定义 为 流程 图 中 至 少 有 一 条 没有 被 其 他 路 径 遍 历 过 的 边 的 路 
径 。 一 组 覆盖 所 有 边 的 独立 路 径 叫 做 基本 集 。 一 旦 形成 基本 集 ， 就 可 以 编写 测试 用 例 ， 考 察 
基本 集中 的 所 有 路 径 了 。 

计算 和 使 用 圈 复 杂 度 “小 程序 可 以 手工 计算 其 圈 复 杂 度 ， 但 是 在 工程 中 ， 有 数 千 行 代 
码 的 程序 需要 使 用 自动 化 工具 。 为 大 型 程序 手工 绘制 流程 图 非常 困难 ,市 场 上 已 经 有 多 种 
工具 可 以 计算 圈 复 杂 度 。 但 是 需要 注意 ， 在 构建 了 模块 之 后 才 计 算 其 复杂 度 并 进行 测试 可 
能 已 经 太 晚 了 ， 因 为 复杂 模块 测试 之 后 就 可 能 难以 重新 设计 了 。 因 此 ， 在 启动 测试 阶段 之 
前 (甚至 在 编码 阶段 之 前 ) 必须 进行 某 些 基 本 的 复杂 度 检查 ， 这 种 检查 可 以 是 代码 审查 中 
的 一 个 内 容 。 根 据 通过 工具 得 到 的 圈 复 杂 度 数 ， 可 以 采用 如 表 3-1 列 出 的 复杂 度 度量 的 一 些 
对 应 措施 。 
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表 3-1 








i 
复杂 度 对 应 的 含义 
1-10 代码 编写 良好 ， 有 很 高 的 可 测试 性 ， 维 护 所 需 的 成 本 和 工作 量 很 低 
10-20 中 等 复杂 度 ， 可 测试 性 中 等 ， 维 护 所 需 的 成 本 和 工作 量 中 等 
20-40 非常 复杂 ， 可 测试 性 很 低 ， 维 护 所 需 的 成 本 和 工作 量 很 高 
>40 不 可 测 ， 不 管 在 维护 中 投入 多 少 人 力 、 物 力 都 不 够 


3.4 白 盒 测 试 中 的 挑战 


白 盒 测 试 要 求 测试 人 员 具 有 很 好 的 程序 代码 和 程序 设计 语言 知识 。 这 意味 着 开发 人 员 要 
密切 参与 白 盒 测试 。 一 般 来 说 ， 开 发 人 员 不 喜欢 进行 测试 ， 不 仅 对 于 诸如 评审 这 样 的 静态 测 
试 是 这 样 ， 对 于 结构 测试 也 是 这 样 。 此 外 ， 由 于 进度 压力 很 大 ， 程 序 员 可 能 “ 抽 不 出 时 间 ” 
进行 评审 〈 一 种 花 更 多 时 间 编 写 代 码 的 托 辞 ) 。 第 13 章 在 讨论 人 员 问 题 时 ， 还 要 深入 讨论 测试 
和 开发 之 间 的 关系 问题 。 

。 由 于 人 的 本 性 ， 开 发 人 员 不 能 发 现 自己 代码 中 的 缺陷 正如 前 面 已 经 讨论 过 的 ,我 们 大 
多 数 人 都 难以 发 现 自己 产品 中 的 错误 。 由 于 白 盒 测试 需要 编写 代码 的 程序 员 参 与 ， 因 
此 他 们 不 能 最 有 效 地 检测 自己 工作 产品 中 的 缺陷 的 可 能 性 相当 大 。 引 入 独立 视角 可 能 
会 有 所 帮助 。 
在 现实 中 可 能 很 难 进行 完全 的 代码 测试 程序 员 一 般 不 那么 热心 引入 外 部 (客户 ) 视角 
或 领域 知识 可 视 化 产品 在 实际 环境 中 部 署 的 情况 。 这 可 能 意味 着 即使 经 过 大 量 测试 ， 
也 可 能 遗漏 一 些 常见 的 用 户 场景 ， 可 能 会 造成 缺陷 曹 延 。 

这 些 挑战 并 不 意味 着 白 盒 测试 就 是 无 效 的 ， 而 是 说 如 果 在 进行 白 盒 测 试 时 通过 其 他 测试 
手段 应 对 这 些 挑 战 ， 则 有 可 能 使 测试 更 有 效 。 下 一 章 要 讨论 的 黑 盒 测试 可 以 在 一 定 程度 上 应 
对 这 些 挑战 。 


问题 与 练习 


1. 本 书 讨论 了 如 何 将 布尔 or 转换 为 可 以 用 于 导出 流程 图 的 简单 谓词 。 按 照 类 似 的 方法 将 表达 
式 if A and B 转 换 为 流程 图 。 

2. 以 下 是 一 段 简 单 的 C 语 言 程序 ， 用 于 接受 一 组 输入 并 计算 标准 差 。 这 段 程序 中 藏 有 故意 设置 
的 缺陷 。 请 对 这 段 程序 进行 白 盒 测试 ， 找 出 程序 的 缺陷 。 此 外 ， 列 出 找 出 这 些 缺 陷 所 使 用 
的 方法 。 

用 于 计算 标准 差 的 代码 
# include <stdio.h> 
void main (argc, argv) 
{ 

int no _numbers; /* 标准 差 要 计算 的 数字 个 数 */ 

float mean，stdev; /x* 临时 变量 */ 

int 研 ， total; /* 临时 变量 */ 

int numbers[100]; /* 实际 数字 */ 

printf ("请 输入 数字 个 数 \n"); 

scanf ("%d", &no numbers); 


/* 先 接受 数字 ， 然 后 计算 其 和 */ 





问题 2 和 问题 3 
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for ( i=0; i<no numbers; i++) 
上 
scanf ( "%d", &numbers[i]); 
total += numbers[i]; 
} 
mean = total/no numbers; 


/* 以 下 开始 计算 标准 差 */ 


total=0，; 
for(i=0; i<no numbers; i++) 
{ 
total += 
((mean - numbers[i])*(mean - numbers[i])) 
} 


stdev = total/no numbers; 
printf ("标准 差 是 $d\n"， stdev); 
return (0); 
: 
3. 针对 上 面 的 程序 画 出 流程 图 ， 并 计算 该 程序 的 圈 复 杂 度 。 
4. 以 下 是 一 段 C 语 言 程 序 ， 用 于 从 一 个 链表 中 删除 一 个 元 素 。 请 设计 一 组 测试 数据 覆盖 这 段 程 


序 的 每 条 语句 。 


用 于 删除 双向 链表 中 的 元 素 的 代码 
/* 假设 链表 的 定义 由 以 下 结构 给 出 : 
Struct T1118 A 


问题 4 和 问题 5 





int value; 
llist *next; 
llist *prev; 
3 
调用 者 需要 传递 一 个 指向 11ist 开 始 的 指针 和 要 删除 的 值 。 假 设 最 多 只 能 删除 一 个 值 */ 
void delete list (llist * list, int value to be deleted) 
llist* temp; 
for (temp = list; temp l=NULL, temp=temp->next) 
{ 
if (temp—value==value to be deleted) 
if(temp—prev != NULL) 
temp—prev— next = temp—next; 


if(temp—next != NULL) 








temp—next—prev temp—prev; 
return(0); 


} 
return(1);/* 要 删除 的 值 到 搜索 结束 时 也 没有 找到 */ 


} 

5. 在 问题 4， 请 说 明 即 使 测试 数据 提供 了 100% 的 语句 覆盖 ,仍然 有 尚未 发 现 的 缺陷 。 
6. 以 下 给 出 的 是 由 两 位 学 生 实际 编写 的 用 于 日 期 确认 的 程序 。 这 两 位 学 生 使 用 了 两 种 不 同 的 
方法 编写 了 代码 ， 分 别 如 程序 6a 和 6b 所 示 。 你 认为 从 白 盒 测 试 的 观点 看 ， 哪 段 代 码 更 容易 
测试 ?在 本 章 讨论 的 白 盒 测试 技术 中 ， 哪 种 技术 更 适合 6a， 哪 种 技术 更 适合 6b? 对 于 两 段 
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代码 ， 如 何 从 更 不 容易 引入 缺陷 和 检测 缺陷 方面 提高 其 有 效 性 ? 





程序 6a 用 于 确认 日 期 的 代码 一 一 问题 6 
int month days [13] = {0 31: 28; 317 30, 31, 30; 31, 31, 30, 31, 30, 31y; 
valid = TRUE; 
if (is _ leap-year(yy)) 
month days [2] = 29; 
if (mm < 1!! mm > 12) valid = FALSE; 


else 
if (day < 1 !! day > month(month Jength[mcnth]) 
valid = FALSE; 
else if (year < 1) 
valid = FALSE; 
return (VALID); 
/* 前 面 使 用 的 函数 is_leap-year 定 义 如 下 */ 
int is leap-year (int year) 


int result; 


if ((year®%4) != 0) result = FALSE; 
else (if (( year %400) == 0) result = TRUE; 
else if (( year %100) == 0) result = FALSE; 


return (result); 


; 
程序 6b 用 于 确认 日 期 的 代码 


i (Id > 0 ua da < 32)) 
printf ("只 输入 1 到 32 之 间 的 数字 \n" ) ; 


Teturr (1)s 





问题 6 


if ((mm = 4) !! (mm == 6) !! (mm == 9) !! (mm == 11)) && day > 30) 
{ 
printf ("非法 日 期 最 多 天 数 是 30" ) ; 


return GLY: 


} 
if (( 1= ( year%100 != 0) && (year®4 == 0) !! (yearg400 == 0))) 
&& (day <= 29)) ‘!! (day < 29)) 


{ 
printf(" 合 法 日 期 \n"); 


return (0); 
else 


printf(" 非 法 日 期 \n"); 
return (1); 


} 
7. 对 于 程序 6b， 采 用 表 P1 给 出 的 测试 数据 测试 对 韶 年 的 确认 。 请 计算 这 些 测 试 数据 对 于 代码 
羡 年 确认 部 分 的 各 种 覆盖 率 。 
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表 P1 用 于 测试 程序 6b 的 测试 数据 





数据 选择 理由 
29 Feb 2003 检查 非 国 年 的 天 数 大 于 28 
28 Feb 2003 检查 2003 年 非 半 年 ， 天 数 等 于 28 是 合法 的 
29 Feb 2000 检查 半年 天 数 限制 
30 Feb 2000 检查 半年 天 数 限制 
14 Feb 2000 检查 羡 年 天 数 限制 内 的 天 数 
29 Feb 1996 检查 对 于 图 年 天 数 等 于 29 是 合法 的 


8. 请 编写 一 段 简单 的 矩阵 相 乘 程序 ， 并 考虑 尽 可 能 多 的 有 效 和 无 效 条 件 验 证 问题 。 确 定 在 测 
试 这 段 程 序 要 使 用 的 测试 数据 ， 并 给 出 理由 。 
9. 重 入 代码 是 不 修改 自身 的 程序 ， 而 非 重 和 人 代码 是 要 修改 自身 的 程序 。 请 讨论 从 白 盒 测试 角 
度 和 未 来 这 种 程序 的 维护 角度 看 ， 会 面临 什么 问题 。 
10. 请 讨论 从 白 盒 测试 的 角度 看 以 下 结构 存在 什么 负面 作用 : 
a. GOTO 语 句 
b. 全 局 变量 
11. 请 比较 功能 覆盖 和 其 他 形式 覆盖 的 优 缺 点 。 


第 4 章 黑 盒 测试 


4.1 黑 盒 测试 的 定义 


黑人 测试 使 用 规格 说 明 ， 不 要 求 考 察 程序 代码 。 昧 念 测 试 以 客户 的 视点 进行 ， 进 行 黑 全 
测试 的 测试 工程 师 只 知道 输入 值 集合 和 预期 的 输出 ， 不 知道 这 些 输入 
是 如 何 被 软件 转化 为 输出 的 。 

黑 盒 测试 对 于 管理 来 说 是 很 方便 的 ， 因 为 测试 人 员 使 用 完全 完成 ”考区 列 系统 的 内 部 知识 。 








了 的 产品 ， 不 要 求 产品 结构 的 知识 。 独 立 测试 实验 室 可 以 管理 黑 盒 测试 ， 保 证 功能 和 兼容 性 。 









只 知道 输入 (钥匙 的 数量 、 使 用 钥匙 的 具体 顺序 以 及 每 把 钥匙 的 转动 方 
向 ) 和 预期 的 输出 (上 锁 和 开锁 )。 例 如 ， 如 果 钥 匙 顺 时 针 转 动 就 开锁 ， 
如 果 北 时 针 和 转动 就 上 锁 。 使 用 锁 不 需要 了 解锁 内 部 的 结构 ， 也 不 需要 了 
解锁 的 工作 原理 。 但 是 必须 知道 锁 和 钥匙 系统 的 外 部 功能 。 以 下 给 出 使 用 锁 需 要 知 
道 的 一 些 功能 。 


拿 锁 和 和 铀 匙 打 个 比方 。 我 们 并 不 知道 锁 内 的 机 关 是 怎样 起 作用 的 ， 人 









功 
锁 的 特性 


用 锁 须 知 
锁 是 金属 制品 ， 有 一 个 用 于 上 锁 的 钥匙 孔 ， 能 够 插入 钥匙 ， 钥 匙 孔 可 以 顺 时 针 


能 


































或 逆 时 针 旋 转 
钥匙 的 特性 钥匙 是 金属 制品 ， 可 以 和 特定 的 钥匙 孔 匹 配 
要 执行 的 动作 上 锁 时 ， 揪 入 钥匙 并 顺 时 针 转 动 

开锁 时 ， 插 入 钥匙 并 逆 时 针 转 动 
状态 已 上 锁 

已 开锁 
输入 钥匙 顺 时 针 或 逆 时 针 转 动 
预期 输出 锁 上 





打开 







有 了 以 上 这 些 知识 ， 就 可 以 在 购买 锁 之 前 用 合理 的 方法 测试 锁 和 钥匙 ， 而 不 必 是 
了 解锁 、 铀 是 和 内 部 机 关 的 机 械 专家 。 这 个 概念 可 以 扩展 到 软件 测试 中 的 黑金 测试 。 





因此 ， 黑 盒 测 试 要 求 有 关 被 测 产品 的 功能 知识 ， 不 一 定 了 解 系统 的 内 部 逻辑 ， 也 不 一 定 
了 解构 建 该 产品 所 使 用 的 程序 设计 语言 。 前 面 介绍 的 测试 锁 的 例子 关注 的 是 测试 产品 〈 锁 和 
钥匙 ) 的 特性 、 不 同 的 状态 ， 以 及 已 知 的 预期 输出 。 可 以 检查 锁 是 否 能 够 被 其 他 钥匙 (而 不 
是 原配 钥匙 ) 打开 和 锁 上 ， 还 可 以 尝试 用 发 卡 或 其 他 细小 金属 片 检 查 上 锁 和 开锁 。 以 下 将 进 
一 步 详细 介绍 可 以 针对 给 定 产品 实施 的 不 同 种 类 的 测试 。 
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4.2 黑 盒 测试 的 意义 


黑 盒 测试 有 助 于 对 被 测 产品 进行 总 体 功能 验证 。 

黑 盒 测试 基于 需求 实施 黑 盒 测试 除了 可 以 发 现 各 种 有 关系 统 整体 上 的 问题 ， 还 有 助 于 发 
现 不 完备 、 不 一 致 的 需求 。 

墨盒 测试 既 检 查 已 描述 的 需求 还 检查 隐 含 需求 并 不 是 所 有 需求 都 经 过 明确 描述 ， 有 些 需 
求 是 隐 含 的 。 例 如 ， 需 要 在 报表 上 给 出 日 期 、 页 眉 和 页 脚 可 能 没有 在 报表 生成 需求 的 规格 说 明 
中 明确 给 出 。 但 是 ， 这 些 功能 在 向 客户 交付 产品 时 应 该 提供 ， 以 提供 更 好 的 可 读 性 和 可 用 性 。 - 

黑 盒 测试 要 包括 最 终 用 户 视角 由 于 要 从 外 部 视角 测试 产品 的 行为 ， 因 此 ， 最 终 用 户 视角 
是 黑 盒 测试 的 一 个 组 成 部 分 。 

墨盒 测试 采用 有 效 和 无 效 输入 用 户 在 使 用 产品 时 出 错 是 很 正常 的 ， 因 此 ， 黑 盒 测试 只 采 
用 有 效 输 入 是 不 够 的 ， 从 最 终 用 户 视角 实施 的 测试 包括 测试 这 些 操作 错误 或 无 效 条 件 。 这 可 
以 确保 在 有 效 情况 下 产品 行为 与 期 望 的 相同 ， 并 且 在 无 效 输入 条 件 下 不 会 挂 起 或 死机 。 这 些 
叫做 正面 和 负面 测试 用 例 。 

测试 人 员 可 以 知道 也 可 以 不 知道 产品 使 用 的 技术 或 内 部 逻辑 ， 但 是 ， 如 果 了 解 这 些 技术 
有 助 于 构建 针对 特定 易 出 现 错误 区 域 的 测试 用 例 。 

规格 说 明 就 绪 后 就 可 以 生成 测试 场景 。 由 于 需求 规格 说 明 是 黑 盒 测试 的 主要 输入 ， 因 此 
测试 设计 可 以 在 生存 周期 的 早期 开始 。 


4.3 黑 盒 测试 的 时 机 


不 管 项 目 选 择 的 是 什么 软件 开发 生存 周期 模型 ， 黑 盒 测 试 活动 都 要 求 测试 团队 从 软件 项 
目 生 存 周期 的 开始 就 介入 。 

测试 人 员 可 以 从 被 测 系统 的 需求 获取 和 分 析 阶 段 就 介入 ， 在 软件 处 于 设计 阶段 时 ， 就 可 
以 启动 测试 生存 周期 的 测试 构建 阶段 ， 准 备 测试 场景 和 测试 数据 。 

一 旦 代码 完成 并 交付 测试 就 可 以 执行 测试 。 在 测试 构建 阶段 开发 的 所 有 测试 场景 都 要 执 
行 。 通 常 选择 这 些 测试 场景 的 一 个 子 集 进行 回归 测试 。 


4.4 黑 盒 测试 的 方法 


第 1 章 已 经 介绍 过 ， 不 管 产品 如 何 简单 ， 要 想 穷尽 地 测试 也 是 不 


会 测试 以 一 激 
信使 测试 以 一 种 系 二 能 的 。 因 为 黑 盒 测试 是 测试 软件 的 外 部 功能 ， 因 此 需要 在 尽 可 能 少 


入 语族 训 。 的 时 间 肉 ， 编 写 出 测试 尽 可 能 多 的 外 部 功能 的 测 斌 用例， 发 现 尽 可 能 
， 人员 元 全 着 失 更 二 多 的 缺 隧 。 虽 然 这 看 上 去 像 是 空 株 ， 不 过 本 节 将 要 介绍 的 技术 可 促进 
“并 代 供 呈 疝 达到 这 些 目标 。 本 节 介绍 各 种 测试 场景 生成 技术 ， 以 有 效 实施 黑 盒 
的 赣 兰 率 。 的 
测试 
这 里 要 讨论 的 各 种 技术 包括 ， 
1 基于 需求 的 测试 
2. 正面 测试 和 负面 测试 
3. 边界 值 分 析 
4. 决策 下 


5. 等 效 类 划分 





6. 基于 状态 的 测试 
7. 兼容 性 测试 

8. 用 户 文 档 测试 
9. 领域 测试 


4.4.1 基于 需求 的 测试 


基于 需求 的 测试 确认 软件 系统 的 软件 需求 规格 说 明 (SRS) 给 出 的 需求 。 

前 面 几 章 已 经 提 到 过 ， 并 不 是 所 有 需求 都 明确 给 出 ， 有 些 需求 是 隐 含 的 。 明 确 描述 的 需 
求 是 写 人 需求 规格 说 明文 档 中 的 需求 ， 隐 含 需求 是 没有 写 人 文档 但 是 预期 要 包含 到 系统 中 的 
需求 。 

需求 测试 的 前 提 是 需求 规格 说 明 要 经 过 仔细 评审 。 需 求 评审 要 确保 需求 是 一 致 的 、 正 确 
的 、 完 备 的 和 可 测试 的 。 这 个 过 程 要 保证 一 些 隐 含 需求 被 转换 为 明确 需求 ， 并 形成 文档 ， 从 
而 使 需求 更 清楚 ， 使 基于 需求 的 测试 更 有 效 。 

有 些 公司 对 这 种 方法 进行 了 修改 ， 为 需求 增加 更 多 细节 。 汇 集 所 有 明确 需求 (通过 系统 
需求 规格 说 明 得 到 ) 和 隐 含 需求 (由 测试 团队 导出 )， 并 形成 “测试 需求 规格 说 明 (TRS)” 
的 文档 。 基 于 需求 的 测试 还 可 以 以 TRS 为 基础 实施 ， 因 为 TRS 反 映 了 测试 人 员 的 视角 。 但 是 为 
了 简化 起 见 ， 这 里 把 SRS 和 TRS 看 作 是 同一 份 文档 。 

前 面 提 到 的 锁 和 钥匙 例子 的 需求 规格 说 明 可 以 形成 表 4-1 给 出 的 文档 。 

表 4-1 锁 和 钥匙 系统 的 需求 规格 说 明 样 本 

序号 ”需求 标识 描述 优先 级 (高 、 中 、 低 ) 
BR-01 ”插入 号 码 为 123-456 的 钥匙 并 顺 时 针 转 动 ， 应 能 上 锁 
BR-02 插入 号 码 为 123-456 的 钥匙 并 逆 时 针 转 动 ， 应 能 开锁 
BR-03 ”只 有 号 码 为 123-456 的 钥匙 可 以 用 来 上 锁 和 开锁 
BR-04 ”其 他 东西 都 不 能 用 来 上 锁 
BR-05 其 他 东西 都 不 能 用 来 开锁 
BR-06 即使 受到 重 物 撞击 锁 也 不 能 被 打开 
BR-07 。 锁 和 钥匙 都 必须 是 金属 制品 ， 重 量 必 须 为 150 克 左右 
BR-08 ”开锁 和 上 锁 的 钥 是 转动 方向 应 能 够 改变 ， 以 便于 左 利 手 人 士 使 用 


像 上 面 这 样 的 需求 由 “需求 跟踪 矩阵 ”(RTM) 进行 跟踪 。RTM 实 施 从 开始 贯穿 设计 、 
开发 和 测试 的 所 有 需求 的 跟踪 。 这 个 矩阵 会 在 产品 生存 周期 内 不 断 进 化 。 首 先 ， 每 个 需求 除 
了 都 提供 简要 描述 外 还 要 赋 给 一 个 唯一 标识 。 需 求 标识 和 描述 可 以 来 自 需求 规格 说 明 ( 表 4-1)， 
或 任何 其 他 列 出 产品 要 测试 的 需求 的 可 用 文档 。 在 上 面 的 表 中 ， 命 名 规则 使 用 了 前 级 “BR”， 
后 接 一 个 两 位 数字 。BR 表 示 测 试 的 类 型 ， 即 “ 黑 盒 -需求 测试 ”。 两 位 数字 是 需求 的 顺序 号 。 
对 于 更 复杂 的 系统 ， 代 表 模 块 和 模块 内 连续 序列 号 的 标识 号 (例如 INV-01、AP-02 等 ) 可 用 
来 标识 需求 。 每 个 需求 都 被 指派 一 个 需求 优先 级 ， 分 为 高 、 中 、 低 。 优 先 级 不 仅 可 以 确定 功 
能 开发 的 资源 保障 顺序 ， 还 可 以 用 于 确定 测试 用 例 的 执行 顺序 。 针 对 高 优先 级 需求 的 测试 应 
该 在 低 优 先 级 需求 对 应 的 测试 之 前 实施 。 这 可 以 保证 最 高 风险 的 功能 在 生存 周期 内 更 早 测 试 ， 
这 样 在 测试 中 发 现 的 缺陷 能 够 尽早 得 到 更 正 。 

随 着 产品 生存 周期 和 测试 阶段 的 向 前 推进 ， 在 RTM 中 记录 需求 和 后 续 阶 段 的 交叉 引用 。 
在 前 面 给 出 的 例子 中 ， 只 给 出 需求 和 测试 的 映射 ， 在 更 完整 的 RTM 中 ， 会 有 表示 需求 到 设计 








eo 号 
京 京 千 和 六 千 到 末末 
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和 代码 映射 对 应 的 列 。 
“测试 条 件 ” 这 一 列 给 出 了 测试 需求 的 不 同方 法 。 测 试 条 件 可 以 通过 本 章 介绍 的 技术 得 出 。 
所 有 测试 条 件 的 标识 使 人 可 以 感觉 到 没有 遗漏 任何 在 最 终 用 户 环 境 中 可 能 产生 问题 的 场景 。 
这 些 条 件 可 以 合并 在 一 起 ， 构 成 一 个 测试 用 例 ， 也 可 以 每 个 测试 条 件 映射 到 一 个 测试 用 例 。 
“测试 用 例 标识 ” 列 可 以 用 来 完善 测试 用 例 和 需求 之 间 的 映射 。 测 试用 例 标识 应 遵循 一 定 
的 命名 规则 ， 以 提高 其 可 用 性 。 例 如 ， 在 表 4-2 中 ， 测 试用 例 顺 序 编号 ， 前 组 是 产品 名 称 。 对 
于 由 多 个 模块 组 成 的 更 复杂 的 产品 ， 测 试用 例 标识 可 以 由 模块 代码 和 顺序 号 组 成 。 


表 4-2 ”需求 跟踪 矩阵 样本 




































人 先 级 (高 、 测试 用 例 | 测试 
需求 标识 描 述 | 中 展 ) | 测试 条 件 标识 “| 阶段 
sgol | 插入 号 码 为 123-456 的 钥匙 并 顺 时 高 使 用 号 码 为 123-456 的 钥匙 Lock_001 | 单元 、 
针 转 动 ， 应 能 上 锁 组 件 
BR-02 插入 号 码 为 123-456 的 钥匙 并 逆 时 高 使 用 号 码 为 123-456 的 钥匙 Lock_002 | 单元 、 
针 转 动 ， 应 能 开锁 组 件 
BR-03 只 有 号 码 为 123-456 的 钥匙 可 以 用 高 使 用 号 码 为 123-456 的 钥匙 上 锁 | Lock_003 | 组 件 
来 上 锁 和 开锁 使 用 号 码 为 123-456 的 钥匙 开锁 |Lock_004 
BR-04 其 他 东西 都 不 能 用 来 上 锁 中 使 用 号 码 为 789-001 的 钥匙 Lock_005 | 集成 
使 用 发 卡 Lock_006 
使 用 螺丝 刀 Lock_007 
BR-05 其 他 东西 都 不 能 用 来 开锁 中 使 用 号 码 为 789-001 的 钥匙 Lock_008 | 集成 
使 用 发 卡 Lock_009 
使 用 螺丝 刀 Lock_010 
BR-06 即使 受到 重 物 撞 击 锁 也 不 能 # 中 使 用 石头 砸 锁 Lock_011 | 系统 
打开 
BR-07 锁 和 钥匙 都 必须 是 金属 制品 ， 重 低 使 用 称 重 设备 Lock_012 | 系统 
量 必须 为 150 克 左右 
BR-08 开锁 和 上 锁 的 钥匙 转动 方向 应 能 
够 改变 ， 以 便于 左 利 手 人 士 使 用 








编写 完 测试 用 例 ，RTM 还 有 助 于 标识 需求 和 测试 用 例 之 间 的 关系 。 可 以 使 用 以 下 组 合 : 
。 一 对 一 一 一 每 个 需求 对 应 一 个 测试 用 例 (例如 BR-01) 
。 一 对 多 一 一 每 个 需求 对 应 多 个 测试 用 例 (例如 BR-03) 


。 多 对 一 一 一 一 组 需求 由 一 个 测试 用 例 测试 〈 表 4-2 中 没有 这 种 情况 ) 
。 多 对 多 一 多 个 需求 由 多 个 测试 用 例 测试 (这 种 测试 用 例 在 集成 和 系统 测试 中 会 出 现 ， 
ea ed ; we: 


;由 于 没有 实现 或 需求 的 优先 级 低 ， 测 试 团队 可 以 次 定 丰 





。 一 对 空 
测试 一 些 需求 〈 例 如 BR-08 ) 
需求 制约 着 多 个 阶段 的 测试 ， 即 单元 、 组 件 、 集 成 和 系统 测试 。 对 应 的 测试 阶段 可 以 是 需 
求 跟踪 矩阵 中 的 一 列 。 这 一 列 指示 需求 测试 的 时 机 ， 以 及 需求 需要 考虑 进行 于 测试 的 测试 阶段 。 
i ee ee | 
管 需求 有 多 少 ， 理 想 情况 下 每 个 需求 都 必须 测试 。 如 果 有 大 量 需求 ， .可 能 难以 手工 
obs RTM 提供 了 一 种 工具 ， 可 腿 红 每 个 需求 的 测试 态 而 不 会 埋 任 
何 (关键 ) 需求 。 
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2. 通过 确定 需求 的 优先 级 ，RTM 使 测试 人 员 能 够 优先 执行 优先 级 高 的 测试 用 例 ， 以 尽早 
发 现 高 优先 级 区 域内 的 缺陷 。 需 求 优 先 级 还 可 用 于 判定 高 优先 级 需求 的 测试 用 例 是 否 充分 ， 
并 调整 低 优先 级 需求 的 测试 用 例 数 。 此 外 ， 如 果 测 试 时 间 非 常 紧 张 ， 优 先 级 的 划 定 也 可 以 确 
保 选 择 合适 的 功能 进行 测试 。 

3. 测试 条 件 可 以 合并 一 起 ， 创 建 一 组 测试 用 例 ， 或 对 应 一 个 测试 用 例 。 从 RTM 中 可 以 看 
出 对 应 特定 需求 的 测试 用 例 清单 。 

4. 测试 条 件 / 用 例 可 以 用 作 测 试 工作 量 /进度 估计 的 输入 。 

需求 跟踪 矩阵 为 各 种 测试 指标 提供 大 量 信息 。 有 些 指标 可 以 通过 需求 跟踪 矩阵 采集 或 导 
出 ， 例 如 : 

。 按 优先 级 分 类 的 需求 数 一 一 这 个 指标 有 助 于 了 解 基于 需求 的 覆盖 率 。 覆 盖 高 优先 级 需求 

的 测试 用 例 数 与 针对 低 优先 级 需求 的 测试 用 例 数 形成 对 比 。 

。 按 需求 分 类 的 测试 用 例 数 一 一 为 每 个 需求 创建 的 测试 用 例 数 。 

。 已 设计 的 测试 用 例 数 一 一 为 所 有 需求 设计 的 测试 用 例 总 数 。 

执行 这 些 测 试用 例 后 ， 测 试 结果 可 以 用 来 采集 指标 ， 例 如 : 

。 已 通过 的 测试 用 例 (或 需求 ) 总 数 一 一 一 旦 执行 完成 ， 就 可 以 得 到 已 通过 的 测试 用 例 总 


数 及 其 对 应 的 需求 总 数 。 
。 未 通过 的 测试 用 例 (或 需求 ) 总 数 一 一 一 旦 执行 完成 ， 就 可 以 得 到 未 通过 的 测试 用 例 总 
数 及 其 对 应 的 需求 总 数 。 


。 需求 中 的 缺陷 总 数 一 一 每 个 需求 对 应 的 缺陷 清单 (需求 的 缺陷 密度 ) 。 这 个 指标 有 助 于 
进行 影响 分 析 : 哪个 需求 的 缺陷 多 ， 对 客户 有 什么 影响 。 低 优先 级 需求 出 现 相对 较 高 
的 缺陷 密度 是 可 以 接受 的 ， 高 优先 级 需求 中 出 现 高 缺陷 密度 则 认为 风险 很 大 ， 可 能 不 
能 允许 产品 发 布 。 





NE ee Sn 基于 需求 的 测试 要 
0 测试 产品 对 需求 规格 说 
总 数 。 明 的 符合 性 。 


。 挂 起 的 需求 数 一 由 于 存在 缺陷 而 挂 起 的 需求 数 。 

第 17 章 将 详细 讨论 可 采集 的 指标 ， 以 及 对 这 些 指标 的 采集 和 分 析 方法 。 

为 了 说 明 如 何 进行 指标 分 析 ， 假 设 采集 到 如 表 4-3 所 示 的 测试 执行 数据 。 
表 4-3 测试 执行 数据 样本 


a , a 测试 用 ”通过 的 测 ”未 通过 的 、，. 
需求 标识 级 ”测试 用 侦 通过 率 % ”缺陷 数 
sh i a 例 总 数 ”试用 例 测试 用 例 ” 





r 
刁 


Sy 


1 BR-01 高 Lock_01 1 1 0 100 1 
2 BR-02 高 Lock_02 1 1 0 100 ] 
3 BR-03 高 Lock_ 03 ,04 多 1 1 50 3 
4 BR-04 中 Lock_05 ,06,07 3 2 1 67 5 
5 BR-05 中 Lock_08,09,10 3 3 0 100 
6 BR-06 低 Lock_11 1 1 0 100 1 
G2 BR-07 低 Lock_12 1 1 0 100 0 
8 BR-08 低 0 0 0 0 1 
合计 8 12 10 可 83 12 


从 表 4-3 可 以 看 出 ， 关 于 需求 可 以 得 到 以 下 结论 : 
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。 占 总 数 83% 的 已 通过 测试 用 例 对 应 71% 已 满足 的 需求 (7 个 需求 有 5 个 满足 ， 有 一 个 需求 
没有 实现 ) 。 类 似 地 ， 从 未 通过 测试 用 例 一 列 也 能 得 知 这 些 缺 陷 影响 了 29% (100 一 71) 
的 需求 。 

。 有 一 个 高 优先 级 需求 BR-03 没 有 通过 测试 。 对 应 共有 三 个 需要 研究 的 缺陷 ， 其 中 有 些 缺 
陷 需 要 改正 ， 测 试用 例 Lock_04 需 要 再 次 执行 ， 以 验证 该 需求 是 否 得 到 满足 。 请 注意 ， 
并 不 是 所 有 三 个 缺陷 都 需要 改正 ， 因 为 有 些 缺 陷 可 能 是 无 关 紧 要 的 或 影响 不 大 的 。 

。 有 一 个 中 优先 级 需求 BR-04 没 有 通过 测试 。 对 应 这 个 需求 的 缺陷 (共有 5 个 ) 改正 后 需 
要 再 次 执行 测试 用 例 Lock_06。 

。 需求 BR-08 没 有 满足 ， 不 过 对 于 这 个 发 布 版 本 这 个 问题 可 以 忽略 ， 尽 管 对 应 这 个 需求 存 
在 一 个 缺陷 ， 但 是 这 个 需求 的 优先 级 很 低 。 

以 上 讨论 的 指标 可 以 通过 图 表示 。 这 种 图 直观 地 给 出 大 量 信 息 。 如 图 4-1 所 示 ， 显 然 需 求 

BR-03 和 BR-04 有 未 通过 的 测试 用 例 ， 因 此 需要 修改 。 


每 个 霍 求 中 了 
通过 /未 通过 测试 用 例 覆 关 的 需求 Rhee 
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图 4-1 表示 测试 用 例 执行 结果 的 图 


4.4.2 正面 和 负面 测试 


正面 测试 试图 证 明 给 定 产 品 可 以 完成 所 期 望 完成 的 工作 。 如 果 测试 用 例 通过 一 组 预期 输 
出 验证 产品 的 需求 ， 则 称 为 正面 测试 用 例 。 正 面 测 试 的 目的 是 证 明 产品 对 于 每 条 规格 说 明和 预 
期 都 能 通过 。 如 果 预 期 产品 给 出 一 个 错误 时 它 确实 给 出 一 个 错误 ， 这 也 是 正面 测试 的 一 部 分 。 

因此 ， 可 以 说 正面 测试 要 检查 产品 针对 正面 和 负面 条 件 的 行为 是 否 与 需求 所 描述 的 一 致 。 

对 于 锁 和 钥匙 这 个 例子 下 面 给 出 了 一 组 正面 测试 用 例 。( 有 关 需 求 规格 说 明 请 参阅 表 4-2。 ) 

请 看 表 4-4 的 第 一 行 。 这 时 锁 处 于 开锁 状态 ， 使 用 号 码 为 123-456 的 钥匙 顺 时 针 转 动 ， 预 其 
的 输出 是 将 其 锁 上 。 在 执行 测试 时 ， 如 果 测 试 结果 是 锁 上 ， 则 这 个 测试 用 例 通 过 。 这 是 正面 
测试 的 “正面 测试 条 件 ” 的 一 个 例子 。 


表 4-4 ”正面 测试 用 例 举例 





需求 标识 输入 1 输入 2 当前 状态 预期 状态 
BR-01 号 码 为 123-456 的 钥匙 顺 时 针 转 动 开锁 上 锁 
BR-01 号 码 为 123-456 的 钥匙 顺 时 针 转 动 上 锁 ， 不 变 
BR-02 号 码 为 123-456 的 钥匙 逆 时 针 转 动 开锁 不 变 
BR-02 号 码 为 123-456 的 钥匙 逆 时 针 转 动 上 锁 开锁 


BR-04 发 卡 顺 时 针 转 动 上 锁 不 变 
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请 看 表 4-4 的 第 五 行 。 锁 处 于 上 锁 状 态 。 使 用 发 卡 并 顺 时 针 转 动 不 会 引起 锁 的 状态 改变 ， 
也 不 会 给 锁 造成 损坏 。 执 行 测试 时 一 切 没 有 改变 ， 则 这 个 正面 测试 用 例 通过 。 这 是 正面 测试 
的 “负面 测试 条 件 ” 的 一 个 例子 。 

负面 测试 展示 当 输 入 非 预 期 输入 时 产品 没有 失败 。 负 面 测 试 的 目的 是 尝试 使 系统 垮 挤 。 
负面 测试 使 用 产品 没有 设计 和 编码 的 场景 。 换 句 话 说， 输入 值 可 能 没 
有 在 产品 的 需求 规格 说 明 中 描述 。 就 规格 说 明 来 说 ， 这 些 测试 条 件 可 
以 归纳 为 产品 的 未 知 条 件 。 但 是 对 于 最 终 用 户 ， 会 遇 到 多 种 产品 需要 了” 
考虑 的 场景 。 了 解 可 能 在 最 终 用 户 层面 上 出 现 的 负面 情况 ， 以 便 测试 下 
并 采取 预防 措施 ， 这 一 点 对 于 测试 人 员 来 说 甚至 更 重要 。 负 面 测试 检 ”之 记 视 区 。 
验 产品 是 否 在 应 该 提供 错误 信息 时 而 没有 提供 ， 或 不 应 该 提供 错误 信息 时 却 提 供 了 。 

表 4-5 给 出 了 锁 和 钥匙 例子 的 一 些 负面 测试 用 例 。 


表 4-5 负面 测试 用 例 


正面 测试 用 于 验证 
已 知 测试 条 件 ， 负 面 测 











序号 输入 1 输入 2 当前 状态 预期 状态 
1 某 个 其 他 锁 的 钥匙 顺 时 针 转 动 上 锁 上 锁 
2 某 个 其 他 锁 的 钥匙 逆 时 针 转 动 开销 开锁 
3 铁丝 逆 时 针 转 动 开锁 开锁 
4 用 石头 打击 上 锁 上 锁 


在 表 4-5 中 ， 与 我 们 已 经 看 到 的 正面 测试 不 同 ， 这 里 没有 需求 标识 。 这 是 因为 负面 测试 关 
注 的 是 需求 规格 说 明之 外 的 测试 条 件 。 由 于 所 有 测试 条 件 都 在 需求 规格 说 明之 外 ， 因 此 不 能 
按 正面 测试 条 件 和 负面 测试 条 件 分 类 。 有 人 认为 所 有 这 样 的 条 件 都 是 负面 测试 条 件 ， 从 技术 
角度 看 这 种 看 法 是 正确 的 。 

正面 测试 和 负面 测试 的 差别 在 于 它们 的 覆盖 率 计算 方法 。 对 于 正面 测试 ， 如 果 和 覆盖 了 所 
有 形成 文档 的 需求 和 条 件 ， 那 么 其 覆盖 率 就 认为 是 百分之百 。 如 果 规 格 说 明 很 清楚 ， 那 么 可 
以 得 到 清晰 的 覆盖 率 指 标 。 形 成 对 比 的 是 ， 负 面 测试 是 没有 穷尽 的 ， 百 分 之 百 的 负面 测试 覆 
盖 率 是 不 现实 的 。 负 面 测试 需要 测试 人 员 具 有 高 度 的 创造 性 来 覆盖 尽 可 能 多 的 “未 知 ”条 件 ， 
以 避免 产品 在 客户 场地 出 现 故障 。 


4.4.3 边界 值 分 析 


上 一 节 已 经 提 到 过 ， 条 件 和 边界 是 软件 产品 中 的 两 个 主要 缺陷 源 。 本 节 将 详细 讨论 条 件 
问题 。 大 多 数 软件 产品 中 的 缺陷 都 与 条 件 和 边界 有 关 。 所 谓 条 件 ， 是 指 基于 各 种 变量 取 值 需 
要 采取 一 定 行动 的 情况 。 所 谓 边界 ， 是 指 各 种 变量 值 的 “极限 ”。 

本 节 要 研究 边界 值 分 析 (BVA), 这 是 能 够 有 效 捕获 出 现在 边界 处 的 缺陷 的 一 种 测试 方法 。 
边界 值 分 析 利 用 并 扩展 了 缺陷 更 容易 出 现在 边界 处 的 概念 。 

为 了 说 明 在 边界 处 出 现 错 误 的 概念 ， 这 里 举 一 个 能 够 为 客户 提供 大 宗 购买 折扣 的 记 账 系统 。 


我 们 很 多 人 都 玖 悉 购物 时 的 大 宗 购买 折扣 概念 ， 例 如 买 1 件 要 付 
1.59 美 元 ， 但 是 买 3 件 只 需 付 4 美元 。 大 宗 购 买 已 经 成 为 购物 者 的 获 


利 原则 。 从 销售 商 角 度 看 ， 大 宗 卖 出 也 是 更 合算 的 ， 因 为 需要 支出 
较 少 的 存储 成 本 并 保持 更 好 的 现金 流 。 假 设 有 一 家 出 售 各 种 商品 的 
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商店 ， 它 为 购买 不 同 数 量 商 品 的 客户 报 出 不 同 的 价格 ， 也 就 是 说 按 购 买 量 的 不 同 
“分 身 ”计价 。 





购买 数量 单价 (美元) 
头 10 件 ( 即 从 第 1 件 到 第 10 件 ) 5.00 
第 二 个 10 件 ( 即 从 第 11 件 到 第 20 件 ) 4.75 
第 三 个 10 件 ( 即 从 第 21 件 到 第 30 件 ) 4.50 
超过 30 件 4.00 





从 上 表 可 以 清楚 地 看 出 ， 买 5 件 需要 支付 5 x 5=25 美 元 。 如 果 买 11 件 ， 第 一 个 10 
件 需 要 支付 10 x5=50 美 元 ， 第 11 件 需要 支付 4.75 美 元 。 类 似 地 ， 如 果 买 15 件 ， 需 要 
支付 10 x 5+5 x4.75=73.75 美 元 。 














从 测试 角度 看 ， 对 于 这 个 例子 什么 类 型 的 数据 最 有 可 能 暴露 出 程序 的 更 多 缺陷 呢 ? 人 们 
通过 总 结 发 现 ， 大 多 数 缺 陷 出 现在 边界 数据 附近 ， 例 如 购买 9、10、11、19、20、21、29、30、 
31 件 和 类 似 数量 的 商品 时 。 虽 然 出 现 这 种 现象 的 原因 还 没有 完全 弄 清楚 ， 不 过 还 是 可 以 给 出 
以 下 一 些 可 能 的 原因 : 

。 程 序 员 使 用 合适 比较 操作 符 的 习惯 ， 例 如 在 进行 比较 时 使 用 <= 操 作 符 ， 还 是 < 操作 符 。 

。 由 于 实现 循环 和 条 件 检查 有 多 种 方式 而 产生 的 困惑 。 例 如 ， 在 像 C 这 样 的 程序 设计 语言 

中 ， 有 foz 循 环 、while 循 环 和 repeat 循 环 。 这 些 循环 有 不 同 的 终止 条 件 ， 在 确定 要 
使 用 的 操作 符 时 会 产生 一 定 程 度 的 困惑 ， 因 此 会 在 边界 条 件 附 近 引 入 缺陷 。 

。 可 能 没有 清楚 地 理解 需求 本 身 ， 特别 是 对 边界 附近 需求 的 理解 ， 因 此 使 得 即使 是 正确 

编码 的 程序 也 不 能 进行 正确 地 处 理 。 

表 4-6 给 出 在 上 面 的 例子 中 ， 应 该 执行 的 测试 和 预期 的 变量 输出 值 (所 购 商 品 的 总 价 ) 。 
表 4-6 只 包含 了 正面 测试 用 例 ， 没 有 包括 诸如 非 数 字 输 入 的 负面 测试 用 例 。 画 圈 的 行 是 边界 值 ， 
这 些 行 与 其 他 部 分 相 比 更 有 可 能 发 现 缺陷 。 


表 4-6 ”大 宗 购买 折扣 例子 的 边界 值 





要 测试 的 输入 值 选择 测试 的 理由 预期 输出 (美元 ) 
1 第 一 个 计价 段 的 开始 5.00 


5 第 一 个 计价 段 中 的 值 ， 没 有 考虑 边界 25.00 

9 好 低 于 第 二 个 计价 段 ， 或 正好 在 第 一 个 计价 段 的 4 

第 二 个 计价 段 的 极限 

正好 高 于 第 一 个 计价 段 ， 正 好 进入 第 二 个 计价 段 不 

16 第 二 个 计价 段 中 的 值 ， 没 有 考虑 边界 28.50 
:好 低 于 第 三 个 计价 段 ， 或 正好 在 第 二 个 计价 段 的 末尾 9 

第 三 个 计价 段 的 极限 

好 高 于 第 二 个 计价 段 ， 于 于 和 

27 ST 没有 考虑 边 129.00 





























第 四 个 计价 段 的 极限 
正好 高 于 第 四 个 计价 段 
50 高 出 第 四 个 计价 段 低 限 很 多 


一 
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边界 值 测 试 对 于 发 现 缺陷 极为 重要 的 另 一 个 例子 是 特定 资源 、 变 量 或 数据 结构 的 内 部 极 
限 值 。 举 一 个 在 共享 内 存 区 缓存 最 近 使 用 过 的 数据 块 的 数据 库 管 理 系 
统 (或 文件 系统 ) 的 例子 。 通 常 这 种 缓存 区 受到 用 户 在 启动 系统 时 指 
定 的 参数 限制 。 假设 数据 库 在 启动 时 指定 缓存 最 近 50 个 数据 库 缓 存 区 ， 
那么 当 这 些 缓存 区 满 而 第 51 个 缓存 区 需要 缓存 时 ， 第 一 个 缓存 区 也 就 
是 最 先 使 用 的 缓存 区 ， 就 需要 转 存 到 次 级 存储 器 上 。 可 以 看 出 ， 操 作 
插入 新 的 缓存 区 和 释放 第 一 个 缓存 区 ， 都 出 现在 “边界 ”上 。 

如 图 4-2 所 示 ， 有 以 下 四 种 情况 需要 测试 。 第 一 ， 当 缓存 区 完全 空 着 (看 起 来 像 一 个 在 逻 
辑 上 了 矛盾 的 句子 ) ; 第 二 ， 当 插入 缓存 区 ,缓存 区 还 有 空余 时 ; 第 三 ， 当 插入 最 后 一 块 缓存 
区 时 ， 第 四 ， 当 缓存 区 已 满 再 插入 缓存 区 时 。 后 两 种 测试 比 前 两 种 更 有 可 能 发 现 缺 陷 。 

用 例 1: 所 有 缓存 区 都 空 ， 可 以 使 用 
Ww DD 


如 果 输 入 (或 输出 ) 
数据 有 可 以 明确 区 分 的 
边界 或 范围 ， 那 么 边界 
值 分 析 对 于 生成 测试 用 
例 是 非常 有 用 的 。 





用 例 2， 插 入 两 块 缓存 区 后 ， 仍 有 空闲 缓存 区 
有 


用 例 3: 插入 最 后 一 块 可 用 的 缓存 区 后 ， 没 有 空闲 的 缓存 


Xl 









最 有 可 能 发 现 


缺陷 的 用 例 用 例 4: 没有 空间 缓存 区 ， 还 要 插入 新 的 缓存 区 。 第 一 块 缓存 区 需要 释放 


图 4-2 缓存 区 管理 的 各 种 测试 用 例 


总 结 一 下 边界 值 测试 : 

。 检 查 数据 值 对 计算 有 影响 的 级 差 或 不 连续 点 ， 不 连续 点 就 是 边界 值 ， 需 要 彻底 测试 。 

。 检 查 内 部 极限 ， 例 如 资源 极限 (如 上 面 给 出 的 缓存 例子 )。 产 品 处 于 这 类 极限 的 行为 也 

应 该 是 边界 值 测试 的 内 容 。 

。 包 含 在 边界 值 测试 内 容 中 的 还 有 在 文档 中 已 说 明 的 对 硬件 资源 的 限制 。 例 如 ， 如 采 文 

档 说 明 产 品 将 运行 在 4MB 以 上 的 RAM， 那 么 一 定 要 设计 测试 最 低 RAM (这 里 是 4MB) 

的 测试 用 例 。 

。 前 面 给 出 的 例子 讨论 的 都 是 对 于 输入 数据 的 边界 条 件 ， 对 于 输出 值 也 要 进行 同样 的 边 

界 值 分 析 。 

针对 黑 盒 测试 讨论 的 边界 值 分 析 也 适用 于 白 盒 测 试 。 像 数组 、 堆 栈 和 队列 这 样 的 内 部 数 
据 结 构 也 需要 检查 边界 或 极限 条 件 。 如 果 内 部 使 用 了 链表 结构 ， 那 么 就 应 该 彻底 测试 链表 开 
始 和 结尾 的 行为 。 

边界 值 和 决策 表 有 助 于 确定 最 有 可 能 发 现 缺陷 的 测试 用 例 。 这 些 概念 的 汇总 就 是 本 章 中 
下 面 要 讨论 的 等 价 类 概念 。 
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.4.4.4 决策 表 


为 了 更 好 地 说 明 测 试 条 件 (和 决策 表 ) 的 使 用 ， 来 看 一 个 计算 收入 纳税 标准 减免 的 简单 
程序 。 这 个 例子 只 是 用 来 说 明 决 策 表 的 使 用 ， 不 能 用 作 任 何 国家 的 纳税 建议 或 实际 纳税 场景 。 
















大 多 数 纳税 人 都 可 以 选择 采用 标准 减免 的 方法 或 者 采用 逐 项 计算 减免 的 方法 。 
标准 减免 就 是 扣除 要 纳税 的 收入 量 。 这 种 方法 的 好 处 是 很 多 纳税 人 不 
必 再 逐 项 计算 实际 应 该 减免 的 税额 ， 例 如 医药 支出 、 巷 普 捐 赠 和 税额 。 
对 于 65 岁 以 上 的 老人 或 盲人 ,标准 减免 更 高 。 如 果 可 以 做 出 选择 ， 就 
应 该 选择 能 够 降低 税额 的 计算 方法 。 

1. 决定 标准 减免 的 第 一 个 因素 是 申报 状态 。 针 对 不 同 申报 状态 的 基本 标准 减免 是 : 


有 


单身 4750 美 元 
已 婚 ， 联 合 申报 9 500 美 元 
已 婚 ， 单 独 申 报 7 000 美 元 





2. 如 果 一 对 已 婚配 偶 单独 申报 且 一 人 不 选择 标准 减免 ， 那 么 另 一 人 也 不 能 选择 
标准 减免 。 

3. 如 果 申 报 人 是 65 岁 或 更 年 长 ， 或 其 配偶 是 65 岁 或 更 年 长 (后 一 种 情况 适用 于 
已 婚 ” 且 “联合 ”申报 的 情况 ) ， 那 么 可 以 额外 减免 1000 美 元 。 

4. 如 果 申 报 人 是 讶 人， 或 其 配偶 是 盲人 (后 一 种 情况 适用 于 “已 婚 ” 且 “联合 ” 
| 申报 的 情况 ) ， 那 么 可 以 额外 减免 1000 美 元 。 











从 以 上 描述 可 以 看 出 ， 标 准 减免 的 计算 取决 于 三 个 因素 : 

1. 申报 人 的 申报 状态 

2. 申报 人 的 年 龄 

3. 申报 人 是 否 言 人 

此 外 ， 在 一 定 条 件 下 以 下 因素 在 计算 标准 减免 时 也 有 影响 ; 

1. 配偶 是 否 采用 标准 减免 方法 

2. 配偶 是 否 言 人 

3. 配偶 的 年 龄 是 否 超过 65 岁 

决策 表 列 出 各 种 决策 变量 、 每 个 决策 变量 的 条 件 〈 取 值 ) 以 及 每 种 条 件 组 合 要 采取 的 行动 。 
影响 决策 的 变量 作为 决策 表 中 的 各 个 列 ， 决 策 表 的 最 后 一 列 是 决策 变量 取 值 组 合 对 应 的 行动 。 
如 果 决 策 变量 很 多 〈 比 如 5、6 个 以 上 ) ， 变 量 的 不 同 取 值 组 合 数 较 少 〈 比 如 4、5 个 ) ， 决 策 变 
量 在 决策 表 中 也 可 以 作为 各 行 ， 而 不 是 各 列 。 标 准 减免 计算 对 应 的 决策 表 如 表 4-7 所 示 。 


表 4-7 用 于 计算 标准 减免 的 决策 表 





状 态 配偶 状态 年 龄 >65? 配偶 年 龄 ”是 盲人 ? 配偶 是 言 人 ? 标准 减免 额 (美元 ) 
单身 a 否 2 否 一 4750 
单身 E 否 三 是 一 5 750 
单身 = 是 = 否 2 5750 
单身 pe = a 是 一 6 750 
已 婚 ， 单 独 申报 。 标准 减免 否 = 否 > 7 000 
已 婚 , 单独 申报 ”标准 减免 在 i 是 = 8 000 
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( 续 ) 
状态 配偶 状态 年 龄 >65? 配偶 年 龄 ”是 言 人 ? 配偶 是 家 人 ? 标准 减免 额 (美元 ) 
已 婚 , 单独 申报 。 标准 减免 是 二 否 一 8 000 
已 婚 ， 单 独 申报 。 标准 减免 是 = 是 一 9 000 
已 婚 ， 单 独 申报 。” 不 采用 标准 减免 = = < 一 0 
已 婚 ， 联 合 申报 ”一 否 否 否 否 9 500 
已 婚 ， 联 合 申报 ”一 是 = 否 否 10 500 
已 婚 ， 联合 申报 ”一 是 = 是 一 11 500 
已 婚 ， 联 合 申报 ”一 一 是 否 否 10 500 
已 婚 ， 联 合 申报 ”一 = 是 一 是 11 500 
人 


注 : 严格 地 说 ， 决 策 表 各 列 都 应 该 是 布尔 变量 。 因 此 ， 第 二 列 的 标题 应 该 是 “配偶 选择 标准 减免 吗 ? ”为 了 清 
晰 起 见 ， 这 里 采用 “配偶 状态 ”作为 标题 。 


读者 会 注意 到 ， 表 4-7 中 有 一 些 项 给 出 “一 ”。 在 这 些 情况 下 ， 对 应 决策 变量 的 取 值 不 影 
响 决策 输出 。 例 如 ， 配 偶 状态 只 有 当 申 报 状态 是 “已 婚 ， 单 独 申报 ”时 才 有 意义 。 类 似 地 ， 
配偶 的 年 龄 及 其 是 否 盲 人 ， 只 有 在 申报 状态 是 “已 婚 ， 联 合 申报 ”时 才 有 意义 。 这 种 取 值 称 
为 无 所 谓 (有 了 时 用 希腊 字母 ® 表 示 )。 这 些 “ 无 所 谓 ” 显 著 降 低 了 要 设计 的 测试 用 例 数 。 如 果 
没有 这 些 “ 一 "， 对 于 “单身 ”要 设计 8 个 测试 用 例 ， 4 个 针对 配偶 选择 标准 减免 ，4 个 针对 配 
偶 不 选择 标准 减免 。 除 了 这 一 差别 ， 对 于 标准 减免 量 的 预期 结果 没有 实际 影响 。 这 里 把 不 允 
许 使 用 “无 所 谓 "， 必 须 明确 地 给 出 所 有 情况 的 情形 贸 作 练习 ， 供 读者 思考 。 有 一 些 形式 化 的 
工具 ， 例 如 卡 诺 (Karnaugh) 图 ， 可 以 用 来 导出 表示 决策 表 各 种 布尔 条 件 的 最 小 布尔 表达 式 。 
本 章 最 后 的 参考 文献 讨论 了 这 些 工具 和 技术 。 

因此 ， 决 策 表 是 设计 黑 盒 测试 ， 检 查 产 品 在 输入 变量 各 种 逻辑 条 件 的 行为 的 宝贵 工具 。 
形成 决策 表 的 步骤 如 下 : 

1. 确定 决策 变量 。 

2. 确定 每 个 决策 变量 的 可 能 取 值 。 

3. 枚 举 每 个 变量 允许 值 的 组 合 。 

4. 确定 变量 (或 一 组 变量 ) 对 于 其 他 输入 变量 组 合 没 有 的 取 值 ， 并 用 “无 所 谓 ” 符 号 表示 。 

5. 对 于 每 个 决策 变量 取 值 组 合 (通过 “无 所 谓 ” 场 景 进行 恰当 的 最 小 化 ) ， 列 出 行动 或 预 
期 结果 。 

6. 形成 表格 ， 在 除 最 后 一 列 以 外 所 有 列 内 给 出 决策 变量 ， 在 最 后 一 列 给 出 各 行 变量 组 合 
对 应 的 行动 项 (包括 在 合适 的 地 方 填 人 “无 所 谓 ”) 。 


一 旦 形成 决策 表 ， 表 中 的 每 一 行 就 是 一 个 测试 用 例 的 规格 说 明 。 确 因果 姑 信 和 机 山下 
定 决策 变量 使 这 些 测试 用 例 虽 不 是 穷尽 的 也 是 有 很 大 覆盖 面 的 。 通 过 使 《所 可 以 表示 为 布尔 条 件 
用 “无 所 谓 ”对 决策 表 进行 剪裁 ， 最 小 化 测试 用 例 的 数量 。 因 此 ， 对 于 。 (TRUE、FALSE 和 和 无 所 
取决 于 决策 变量 取 值 的 场景 ， 决 策 表 对 于 有 效 地 编写 测试 用 例 非常 有 用 。 ” 谓 ) ， 则 决策 表 是 非常 有 


4.4.5 等 价 划分 用 的 。 

等 价 划 分 是 一 种 软件 测试 技术 ， 用 于 确定 少量 能 够 产生 尽 可 能 多 的 不 同 输出 条 件 的 有 代 
表 性 的 输入 值 。 这 种 方法 可 以 减少 用 于 测试 的 输入 、 输 出 值 的 排列 组 合 ， 从 而 提高 覆盖 率 ， 
降低 测试 工作 量 。 
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产生 同一 个 预期 输出 的 一 组 输入 值 叫 做 一 个 划分 。 如 果 软 件 的 行为 对 于 一 组 值 来 说 是 相 
同 的 ， 那 么 这 组 值 就 叫做 等 价 类 或 划分 。 在 这 种 情况 下 ， 可 从 每 个 划分 中 选取 一 个 有 代表 性 
的 样本 (又 叫做 等 价 类 成 员 ) 进行 测试 。 从 一 个 划分 中 取 一 个 样本 对 于 测试 已 经 足够 ， 因 为 
从 划分 中 再 取 更 多 的 值得 到 的 测试 结果 会 是 相同 的 ， 不 会 产生 额外 的 缺陷 。 由 于 所 有 值 都 产 
生 相 等 和 同样 的 输出 ， 因 此 这 些 值 叫做 等 价 划 分 。 

采用 这 种 技术 进行 测试 包括 两 个 步骤 : (a) 针对 产品 的 输入 和 输出 取 值 的 完备 集 ， 确 定 
所 有 划分 ，(b) 从 每 个 划分 中 取 一 个 成 员 进行 测试 ， 以 最 大 化 覆盖 率 。 

通过 等 价 类 或 划分 的 一 个 成 员 得 到 的 测试 结果 ， 这 种 技术 推断 该 划分 所 有 取 值 的 预期 结 
果 。 使 用 这 种 技术 的 优点 是 采用 少量 的 测试 用 例 就 能 实现 不 错 的 覆盖 率 。 例 如 ， 如 果 某 个 划 
分 中 的 值 有 错误 ， 那 么 可 以 外 推 到 那个 特定 划分 的 所 有 取 值 。 使 用 这 种 技术 ， 通 过 不 重复 同 
一 个 划分 中 的 相同 测试 ， 可 以 最 大 限度 地 降低 测试 的 元 余 。 

下 面 举 一 个 例子 ， 某 个 保险 公司 根据 年 龄 段 实行 以 下 保险 费 率 。 








寿险 保险 费 率 
某 个 寿险 公司 对 所 有 年 龄 实行 0.30 美 元 的 基本 保险 费 。 根 据 年 龄 段 的 不 同 ， 每 月 

还 要 按 下 表 支 付 额 外 的 保险 费 。 例 如 ， 一 个 34 岁 的 人 要 支付 的 保险 费 = 基 本 保险 葛 + 

额外 保险 费 =0.50+1.65=2.15 美 元 。 








年 龄 段 额外 保险 费 (美元 ) 
35 岁 以 下 1.65 
35 一 59 2.87 
60 岁 以 上 6.00 








根据 等 价 划 分 技术 ， 可 以 给 出 基于 年 龄 的 等 价 划 分 : 

。 低 于 35 岁 (有效 输入 ) 

。35 一 59 岁 (有效 输 入 ) 

。60 岁 以 上 (有 效 输入 ) 

。 负 年 龄 (无效 输入 ) 

。0 岁 (有效 输入 ) 

。 任 何 三 位 数字 的 年 龄 (有效 输 入 ) 

从 以 上 每 个 划分 中 选择 一 个 代表 值 。 读 者 可 能 已 经 注意 到 ， 即 使 只 有 很 少 的 有 效 值 ， 仍 
然 应 给 出 无 效 值 输入 样本 。 必 须 给 出 无 效 值 输入 样本 ， 以 免 这 些 输入 引起 没有 预见 到 的 错误 。 
可 以 看 出 ， 这 个 例子 包含 了 正面 和 负面 测试 输入 值 。 

表 4-8 给 出 了 这 个 例子 基于 等 价 划分 的 测试 用 例 。 这 个 等 价 划 分 表 有 以 下 几 列 : 


表 4-8 寿险 保险 费 例 子 对 应 的 等 价 类 





序号 等 价 划 分 输入 类 型 测试 数据 预期 结果 
1 低 于 35 岁 有 效 26、12 月 保险 费 = (0.50+1.65) =2.15 美 元 
2 35 一 59 岁 有 效 37 月 保险 费 = (0.50+2.87) =3.37 美 元 
3 大 于 60 岁 有 效 65、90 月 保险 费 = (0.50+6.0) =6.50 美 元 
4 负 年 岁 无 效 =23 警告 信息 一 一 无 效 输入 
3 0 岁 无 效 0 警告 信息 一 一 无 效 输 入 





。 划 分 定义 

。 输 入 类 型 (有效 /无 效 ) 

。 该 划分 对 应 的 有 代表 性 测试 数据 

。 预期 结果 

表 4-8 的 每 一 行 都 是 一 个 要 执行 的 测试 用 例 。 例 如 ， 当 一 个 人 的 年 龄 是 48 时 ， 就 使 用 行 号 
为 2 的 测试 用 例 ， 预 期 结果 是 3.37 美 元 。 类 似 地 ， 如 果 给 出 一 个 负数 年 龄 ， 则 应 显示 一 条 错误 
信息 ， 告 诉 用 户 此 输入 是 无 效 的 。 

上 面 这 个 例子 导出 的 等 价 类 使 用 的 是 范围 值 。 还 有 一 些 方法 可 以 确定 等 价 类 。 例 如 ， 对 
于 实数 集合 ， 一 种 划分 的 方法 是 : 

1. 质数 

2. 和 数 

3. 带 小 数 点 的 数 

这 三 类 把 实数 集合 划分 为 三 个 有 效 类 。 此 外 ， 考 虑 到 用 户 可 能 给 出 的 所 有 输入 ， 必 须 增 
加 一 个 无 效 类 ， 即 字母 数字 串 。 与 上 一 个 例子 一 样 ， 表 4-9 也 给 出 这 个 例子 的 等 价 划分 。 


表 4-9 实数 集合 对 应 的 等 价 划分 样本 
序号 等 价 划分 输入 类 型 测试 数据 


1 质数 有 效 7, 29 

2 和 数 有 效 444 

3 带 小 数 点 的 数 有 效 78.67, —85.91 
4 非 数 字 无 效 ABC23RTF 


因此 ， 与 前 一 个 保险 费 例 子 一 样 ， 这 里 也 把 潜在 无 限 输入 数据 空间 压缩 为 有 限 空 间 ， 又 
没有 损失 测试 的 有 效 性 。 这 就 是 使 用 等 价 类 的 优点 : 选择 能 够 真正 代表 整个 输入 空间 的 很 小 
一 组 输入 值 并 发 现 更 多 的 缺陷 。 

准备 等 价 划分 表 的 步骤 如 下 : 

。 选择 等 价 划分 的 判断 准则 (范围 、 取 值 表 等 ) 

。 根 据 以 上 判断 准则 确定 有 效 等 价 类 (允许 取 值 的 个 数 范围 等 ) 


。 从 划分 中 选择 一 个 样本 数据 如 果 输 入 数据 可 以 
， 根 据 给 定 需 求 编写 预期 结果 分 为 不 同 的 集合 ， 且 产 
。 确定 可 能 有 的 特殊 取 值 ， 并 加 到 表 中 品 对 于 集合 的 每 个 成 员 
。 检查 是 否 为 所 有 的 测试 用 例 给 出 了 预期 结果 的 行为 或 输出 相同 于 


。 如 果 对 任何 具体 的 测试 用 例 不 能 给 出 明确 的 预期 结果 ， 可 将 其 。” 么 等 价 划 分 对 于 最 大 限 
标 出 来 ， 并 进行 更 正 。 如 果 不 能 回答 某 个 问题 ， 或 发 现 一 个 不 度 地 降低 测试 用 例 数量 


合适 的 答案 ， 可 以 考虑 是 否 把 问题 记录 下 来 并 与 大 家 一 起 证 清 是 非常 有 用 的 。 
4.4.6 基于 状态 或 基于 图 的 测试 
基于 状态 或 图 的 测试 对 于 以 下 情况 非常 有 用 : 
1. 被 测 产品 是 一 个 语言 处 理 器 (例如 编译 器 ) ， 语 言 的 句法 自动 构成 一 个 状态 机 ， 或 一 种 
由 轨道 图 表示 的 与 上 下 文 无 关 的 语法 。 
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2. 工作 流 建 模 ， 根 据 当 前 状态 和 合适 的 输入 变量 组 合 ， 执 行 具体 的 工作 流 ， 产 生 新 的 输 


出 和 新 的 状态 。 


3. 数据 流 建 模 ， 系 统 建 模 为 一 组 数据 流 ， 从 一 个 状态 转换 到 另 一 个 状态 。 
以 上 的 2 和 3 有 些 类 似 。 以 下 针对 1 给 出 一 个 例子 ， 再 针对 2 给 出 一 个 例子 。 
考虑 一 个 要 求 根据 以 下 简单 规则 确认 数字 有 效 的 应 用 程序 : 


1. 数字 可 以 由 一 个 可 选 符号 开始 。 


2. 该 可 选 符号 可 以 后 接任 何 位 数 的 数字 。 
3. 这 些 数字 可 以 有 选择 地 后 接 用 英文 句号 表示 的 小 数 点 。 


4. 如 果 有 一 个 小 数 点 ， 则 小 数 点 后 应 该 有 两 位 数字 。 
5. 任何 数字 ， 不 管 是 否 有 小 数 点 ， 都 应 该 以 空格 结束 。 
以 上 规则 可 以 用 如 图 4-3 所 示 的 状态 转换 图 表示 。 


+ 或 数字 





图 4-3 状态 转换 图 的 例子 
这 个 状态 转换 图 可 以 转换 为 如 表 4-10 所 示 的 状态 转换 表 ， 列 出 当前 状态 、 当 前 状态 允许 
表 4-10 图 4-3 对 应 的 状态 转换 表 


的 输入 和 对 每 个 输入 的 下 一 个 状态 。 

以 上 状态 转换 表 可 以 用 来 导出 测试 用 
例 ， 测 试 有 效 和 无 效 数字 。 有 效 测试 用 例 
可 以 通过 以 下 方法 生成 : 

1. 从 起 始 状态 开始 《本 例 是 状态 1) 。 

2. 选择 一 条 到 下 一 个 状态 的 路 径 〈 例 
如 +/ 一 /数字 ， 从 状态 1 到 状态 2)。 

3. 如 果 在 给 定 状 态 遇 到 无 效 输入 〈 例 
如 在 状态 2 遇 到 一 个 字符 ) ， 则 产生 一 个 错 
误 条 件 测 试用 例 。 

4. 重复 以 上 过 程 ， 直 到 达到 最 后 状态 
(本 例 就 是 状态 6) 。 


当前 状态 


输入 





DDD -~ 


下 一 个 状态 


MD 


[oS 


有 关 语 言 处 理 器 使 用 基于 状态 的 测试 方法 可 归纳 如 下 : 
基于 图 的 测试 方法 1. 确定 场景 的 语法 。 上 面 的 例子 把 状态 图 转换 为 状态 机 。 在 有 些 
适用 于 为 诸如 语言 翻译 ”情况 下 ,场景 可 以 是 与 上 下 文 无 关 的 语法 ， 可 能 需要 用 更 复杂 的 “ 状 





器 、 工 作 流 、 事 务 流 和 态 图 ”表示 。 


数据 流 这 样 的 状态 机 生 2. 对 于 每 个 有 效 状 态 -输入 组 合 设计 测试 用 例 。 
成 测试 用 例 。 3. 对 于 最 常见 的 无 效 状态 -输入 组 合 设计 测试 用 例 。 
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茎 于 图 的 测试 第 二 个 适用 情况 是 事务 流 或 工作 流 。 考 虑 一 个 员工 请 假 申请 的 简单 程序 。 
典型 的 员工 请 假 申请 过 程 可 以 用 以 下 步骤 表示 ; 

1. 员工 填写 请 假 申请 ， 给 出 自己 的 员工 标识 号 ， 以 及 希望 离开 的 起 止 日 期 。 

2. 日 动 系统 确认 该 员工 有 资格 在 这 段 时 间 内 离开 。 如 果 未 通过 确认 ， 则 拒绝 该 申请 ， 如 
果 有 资格 离开 ， 则 控制 流 会 转 到 下 一 个 步骤 。 

3. 此 信息 传 给 该 员工 的 经 理 ， 由 这 个 经 理 确认 该 员工 在 那 段 时 间 离 开 没 有 问题 (例如 在 
要 求 请 假 的 那 段 时 间 没 有 特别 重要 的 任务 )。 

4. 根据 请 假 的 可 行 性 ， 经 理 对 请 假 申请 作出 最 终 批准 或 拒绝 。 

以 上 事务 流 也 可 以 使 用 简单 的 状态 图 给 出 ， 如 图 4-4 所 示 。 





图 4-4 表示 工作 流 的 状态 图 


在 以 上 例子 中 ， 每 个 用 圆圈 表示 的 状态 都 是 一 个 事件 ， 也 就 是 决策 点 ， 而 状态 之 间 的 箭 
头 或 连 线 表示 数据 输入 。 与 上 一 个 例子 一 样 ， 也 可 以 从 起 始 状态 开始 按照 状态 图 走 通 各 个 状 
态 迁 移 ， 直 到 达到 “最 终 ” 状 态 (用 没有 阴影 的 圆圈 表示 )。 

像 以 上 这 样 的 状态 图 还 可 以 利用 上 个 例子 介绍 的 同样 的 标记 和 方法 转换 为 状态 转换 表 。 
像 本 例 这 样 的 基于 图 的 测试 适用 于 : 

1. 应 用 程序 可 以 用 一 组 状态 刻画 。 

2. 已 经 很 好 理解 引发 从 一 个 状态 到 另 一 个 状态 迁移 的 数据 值 (屏幕 、 鼠 标点 击 等 ) 。 

3. 已 经 很 好 理解 每 个 状态 内 部 对 所 接收 数据 的 处 理 方法 。 


4.4.7 兼容 性 测试 


前 面 几 节 介绍 了 几 种 测试 产品 功能 和 需求 的 技术 ， 还 提 到 了 测试 用 例 执行 结果 要 与 预期 
结果 进行 比较 ， 以 确定 该 测试 用 例 是 否 通过 。 测 试用 例 执行 结果 不 仅 ”一遍 保 产品 功能 对 二 
取决 于 产品 的 功能 是 否 合适 ， 还 同样 取决 于 提供 功能 的 基础 设施 。 如。 不同 基础 设施 组 件 能 名 
果 基础 设施 的 参数 改变 ， 期 望 产品 的 行为 仍然 正确 ， 并 产生 所 要 求 或 。 _ 总 地 发 挥 作用 的 测试 
期 望 的 结果 。 基 础 设施 参数 可 以 是 硬件 、 软 件 或 其 他 组 件 的 参数 。 这 4 似 羔 容 性 测 让 。 





些 参 数 对 于 不 同 的 客户 是 不 同 的 。 黑 盒 测 试 不 知道 这 些 参数 对 测试 用 
例 执行 结果 的 作用 ， 可 能 不 一 定 是 完备 的 、 有 效 的 ， 因 此 可 能 没有 真正 反映 产品 在 客户 场地 
的 行为 。 所 以 需要 进行 兼容 性 测试 。 兼 容 性 测试 确保 产品 能 够 在 不 同 的 基础 设施 组 件 上 正常 
运行 。 以 下 介绍 兼容 性 测试 所 使 用 的 技术 。 
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通常 会 影响 产品 兼容 性 的 参数 有 : 

。 计 算 机 中 处 理 器 (CPU) 的 类 型 (Pentium III、Pentium IV、Xeon、SPARC 等 ) 和 数量 

。 计算机 的 体系 结构 和 特性 (32 位 、64 位 等 ) 

。 计 算 机 上 的 可 用 资源 (RAM、 磁 盘 空 间 、 网 卡 ) 

。 产 品 预期 会 适用 的 设备 (打印 机 、 调 制 解 调 器 、 路 由 器 等 ) 

。 操 作 系 统 (Windows、Linux 等 及 其 变种 ) 和 操作 系统 服务 (DNS、NIS、FTP 等 ) 

。 中 间 件 基础 设施 组 件 ， 例 如 Web 服 务 器 、 应 用 服务 器 、 网 络 服务 辟 

。 后 台 组 件 ， 例 如 数据 库 服 务 器 (Oracle、Sybase 等 ) 

。 要 求 特殊 硬件 软件 解决 方案 的 服务 ( 聚 类 计算 机 、 负 载 平衡 、RAID 阵 列 等 ) 

。 用 于 生成 二 进 制 代 码 的 软件 (编译 器 、 连 接 器 等 及 其 合适 的 变种 ) 

。 用 于 生成 组 件 的 各 种 技术 组 件 (SDK、JDK 等 及 其 合适 的 不 同 版 本 ) 

以 上 只 是 一 部 分 参数 ， 还 有 很 多 会 影响 产品 特性 行为 的 其 他 参数 。 在 上 面 的 例子 中 ， 我 
们 描述 了 10 种 参数 。 如 果 每 一 个 参数 都 有 4 个 取 值 ， 那 么 就 有 40 个 不 同 的 取 值 要 测试 。 但 是 还 
不 止 这 些 。 不 仅 是 单个 参数 取 值 会 影响 产品 特性 ， 这 些 参 数 的 排列 组 合 也 会 影响 产品 特性 。 
如 果 考 虑 这 些 组 合 ， 测 试 特定 功能 的 次 数 会 达到 数 以 千 计 甚至 百 万 计 。 以 上 假设 有 10 个 参数 ， 
每 个 参数 有 4 个 取 值 ， 那 么 要 测试 的 组 合 数 就 是 4"， 这 个 数 太 大 了 ， 不 可 能 进行 穷尽 测试 。 

为 了 得 到 可 行 的 测试 参数 组 合 ， 可 创建 一 种 兼容 性 和 矩 阵 。 兼容 性 矩阵 的 列表 示 要 测试 的 
不 同 参 数组 合 ， 行 表示 具体 参数 取 值 集合 的 唯一 组 合 。 表 4-11 给 出 了 一 个 邮件 应 用 程序 的 示 
例 兼 容 性 矩阵 。 


























表 4-11 邮件 应 用 程序 的 兼容 性 矩阵 

服务 器 应 用 服务 器 Web 服 务 器 客户 端 浏览 器 MS Office 邮件 服务 器 
Windows 2000 | Windows 2000 | HS 5.0 Win 2K Profess- | IE 6.0 and IE | Office 2K and | Exchange 
Advanced Server | Advanced Server ional and 5:5 SP2 Office XP $35. 2K 
with SP4 with SP4 and Win 2K Terminal 
Microsoft SQL | .Net framework Server 
Server 2000 with | 1.1 
SP3a | 
Windows 2000 | Windows 2000 | IIS 5.0 Win 2K Profess- | Netscape 7.0, | Office 2K and | Exchange 5.5 
Advanced Server | Advanced Server ional and Ta Office XP and 2K 
with SP4 with SP4 and Win 2K Terminal | Safari and 
Microsoft SQL | .Net framework Server Mozilla 
Server 2000 with | 1.1 
SP3a 
Windows 2003 | Windows 2003 | IIS 6.0 Win XP Home | IE 6.0 and Office XP and | Exchange 2K 
Enterprise Server | Enterprise Server and IE 5.5 SP2 Office 2003 
Microsoft SQL | and Win XP Professional ， 
Server 2000 with | .Net framework 
SP3a 可 
Windows 2003 | Windows 2003 | IS 6.0 Win XP Professional | IE 6.0， Office XP and | Exchange 2003 
Standard Server | Standard Server and Citrix IE 5.5 SP2 and | Office 2003 
Microsoft SQL | and .Net frame- Moxzilia 
Server 2000 with | work 1.1 
SP3a 








水 4 章 黑人 鳃 测度 63 





( 续 ) 
客户 端 浏览 器 邮件 服务 器 
Win XP Professional | IE 6.0 Office XP and | Exchange 2K 


and Win 2003 IE 5.5 SP2 and | Office 2003 
Terminal Safart 















应 用 服务 器 Web 服 务 器 


Windows 2003 | IIS 6.0， 
Enterprise Server 
and .Net frame- 










Windows 2003 
Enterprise Server 
Microsoft SQL 
Server 2000 with 
SP3a 















work 1.1 





表 4-11 只 是 一 个 例子 ， 并 没有 覆盖 所 有 参数 及 其 组 合 。 对 于 执行 兼容 性 测试 使 用 兼容 表 
的 通用 常用 技术 有 : 

1. 横向 组 合 产品 同时 存在 的 所 有 执行 测试 用 例 集 的 参数 值 ， 在 兼容 和 矩阵 中 组 成 一 行 。 可 
以 同时 存在 的 参数 取 值 一 般 属 于 不 同 的 基础 设施 层次 或 类 型 ， 例 如 操作 系统 、Web 服 务 器 等 。 
为 每 行 设置 计算 机 或 环境 ， 并 逐一 使 用 这 些 环境 对 产品 的 功能 集合 进行 测试 。 

2. 智能 采样 在 横向 组 合 方法 中 ， 必 须 用 兼容 性 矩阵 中 的 每 一 行 测试 产品 的 每 个 特性 。 这 
需要 大 量 的 时 间 和 工作 量 。 为 了 解决 这 个 间 题 ， 基 础 设施 参数 的 组 合 智能 地 与 特性 集合 组 合 
在 一 起 进行 测试 。 如 果 由 于 任何 组 合 引 起 问题 ， 那 么 就 执行 测试 用 例 ， 检 查 各 种 排列 组 合 。 
选择 智能 样本 的 基础 是 根据 产品 与 参数 的 依赖 关系 集合 得 到 的 信息 。 如 果 产 品 对 参数 集合 的 
依赖 较 弱 ， 就 从 智能 样本 表 中 将 其 删除 。 合 并 并 测试 所 有 其 他 参数 。 这 种 方法 能 够 显著 降低 
测试 用 例 的 排列 组 合 数量 。 

兼容 性 测试 不 仅 与 产品 外 部 的 参数 有 关 ， 还 与 产品 内 部 的 参数 有 关 。 例 如 ， 给 定数 据 库 
的 两 个 版 本 可 能 依赖 同一 个 数据 库 的 一 部 分 API 集 合 。 这 些 参 数 是 兼容 性 矩阵 的 附加 部 分 ， 也 
要 进行 测试 。 这 类 涉及 产品 本 身 部 件 的 产品 兼容 性 测试 可 以 进一步 分 为 两 类 : 

1. 反 向 兼容 性 测试 客户 会 有 同一 个 产品 的 很 多 不 同 版 本 。 对 于 客户 非常 重要 的 是 ， 采 用 
产品 老 版 创建 的 对 象 、 对 象 属性 、 模 式 、 规 则 和 报告 等 ， 对 于 同一 个 产品 的 当前 版 是 否 仍然 
有 效 。 保 证 产品 的 当前 版 对 于 同一 个 产品 的 老 版 仍然 有 效 的 测试 叫 作 反 向 兼容 性 测试 。 反 向 
兼容 性 测试 所 需 的 产品 参数 要 补充 到 兼容 性 和 矩阵 中 ， 并 进行 测试 。 

2. 正 向 兼容 性 测试 有 时 产品 要 与 该 产品 和 其 他 基础 设施 组 件 的 新 版 本 一 起 运行 ， 这 时 必 
须 适 应 未 来 的 需求 。 例 如 ，IP 网 络 协议 第 6 版 使 用 128 位 的 编 址 模式 〈IP 第 4 版 只 使 用 32 位 ) 。 
可 以 定义 数据 结构 适应 128 位 地 址 ， 并 且 采 用 还 没有 成 为 完全 实现 的 产品 的 IPv6 协 议 栈 的 原型 
实现 进行 测试 。IPv6 的 部 分 特性 对 于 最 终 用 户 还 不 能 使 用 ， 但 是 这 种 针对 未 来 的 实现 和 测试 
有 助 于 避免 以 后 的 大 量变 更 。 这 种 需求 要 作为 正 向 兼容 性 测试 的 一 部 分 实施 。 采 用 操作 系统 
测试 版 对 产品 进行 测试 、 较 早 使 用 开发 人 员 的 软件 包 等 ， 都 是 正 向 兼容 性 测试 的 例子 。 这 类 
测试 可 保证 最 大 限度 地 降低 产品 在 满足 未 来 需求 方面 的 风险 。 

实施 兼容 性 测试 和 使 用 前 面 介 绍 的 技术 可 能 不 需要 对 产品 的 内 部 知识 有 深入 了 解 。 兼 容 
性 测试 要 在 对 产品 在 基本 环境 上 确认 之 后 进行 。 兼 容 性 测试 需要 大 量 的 工作 ， 因 为 有 大 量 的 
参数 组 合 。 依 照 前 面 介 绍 的 技术 有 助 于 更 有 效 地 实施 兼容 性 测试 。 


4.4.8 用 户 文档 测试 


用 户 文档 包括 所 有 手册 、 用 户 指南 、 安 装 指南 、 设 置 指南 、 产 品 说 明 、 软 件 发 布 说 明 以 
及 与 软件 产品 一 起 提供 意 在 帮助 最 终 用 户 了 解 软 件 系统 的 在 线 帮 助 。 
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用 户 文档 测试 有 两 个 目的 ; 
1. 检查 文档 所 描述 的 是 否 在 产品 中 提供 。 

2. 检查 产品 中 有 的 是 否 在 文档 中 作 了 正确 解释 。 

当 产 品 升级 时 ， 对 应 的 产品 文档 必要 时 也 应 该 升级 ， 以 反映 会 对 用 户 产生 影响 的 变更。 
但 是 ， 这 种 情况 不 一 定 总 发 生 。 一 种 原因 是 文档 编号 组 和 测试 /开发 
组 缺少 充分 协调 。 经 过 一 段 时 间 ， 产品 的 文档 会 偏离 产品 的 实际 行为 。 
用 户 文档 测试 关注 确保 文档 的 内 容 是 否 确切 地 与 产品 行为 一 致 ， 坐 在 
计算 机 前 对 屏幕 、 事 务 和 报表 进行 逐一 验证 。 此 外 ， 用 户 文档 测试 还 要 检查 文档 中 的 诸如 拼 
写 和 语法 错误 等 语言 使 用 问题 。 

测试 这 些 文档 是 很 重要 的 ， 因 为 用 户 开始 在 自己 的 场地 使 用 软件 时 会 参考 这 些 手 册 、 安 
装 和 设置 指南 。 用 户 常 常 不 了 解 软件 ， 需 要 帮 一 把 ， 直 到 感到 使 用 自如 。 由 于 这 些 文档 是 用 
户 接触 软件 的 第 一 种 交互 ， 他 们 会 产生 第 一 印象 。 编 写 不 好 的 安装 文档 会 失掉 用 户 ， 使 他 们 
对 产品 产生 偏见 ， 尽 管 产 品 可 提供 丰富 的 功能 。 

实施 用 户 文档 测试 的 好 处 包括 ; 

1. 用 户 文档 测试 有 助 于 发 现 评审 时 忽略 的 问题 。 

2. 高 质量 的 用 户 文档 可 保证 文档 与 产品 的 一 致 性 ， 因 此 ， 可 以 最 大 限度 地 降低 客户 报告 
缺陷 的 可 能 。 好 的 用 户 文档 还 可 以 缩短 每 次 电话 支持 所 需 的 时 间 ， 有 时 处 理 帮 助 电话 的 最 好 
方式 就 是 告诉 客户 参考 手册 的 相关 章节 。 这 样 可 以 降低 总 的 支持 费用 。 

3. 使 技术 支持 工作 变 得 更 容易 。 当 用 户 忠 诚 地 遵循 文档 给 出 的 指示 却 不 能 得 到 所 需要 
(或 所 承诺 ) 的 结果 时 ， 用 户 会 感到 灰心 ， 并 把 这 些 情绪 发 泄 给 技术 支持 人 员 。 保 证 每 份 文档 
都 是 有 效 的 、 正 确 的 ， 可 以 使 客户 感到 更 满意 ， 对 技术 支持 人 员 的 态度 会 更 好 。 

4. 新 加 入 项 目 组 的 程序 员 和 测试 人 员 可 以 使 用 文档 了 解 产品 的 外 部 功能 。 

5. 如 果 文 档 的 质量 很 高 并 且 与 产品 一 致 ， 客 户 需要 的 培训 更 少 ， 可 以 更 快 地 进入 高 级 培 
训 和 产品 使 用 。 这 种 高 质量 的 用 户 文档 可 以 为 用 户 组 织 降低 总 的 培训 成 本 。 

与 一 般 软 件 缺 陷 一 样 ， 在 用 户 文档 中 发 现 的 缺陷 也 要 跟踪 到 最 后 。 为 了 使 文档 编写 者 能 
够 提供 完整 的 缺陷 信息 ， 应 该 向 其 提供 缺陷 描述 、 页 码 和 段落 号 、 文 档 版 本 号 、 审 查 人 姓名 、 
编写 者 姓名 、 审 查 人 的 联系 电话 、 优 先 级 和 严重 等 级 等 文档 缺陷 信息 。 

由 于 好 的 用 户 文档 有 助 于 减少 投诉 电话 ， 可 减少 组 织 的 大 量 经 费 。 在 用 户 文档 上 投入 的 
人 力 物 力 对 于 组 织 来 说 是 一 项 很 有 价值 的 长 远 投资 。 





用 户 文 档 测试 要 保证 
文档 与 产品 的 相互 一 致 。 


4.4.9 领域 测试 


盒 测 试 要 求 检 查 程序 代码 ， 黑 盒 测 试 执行 测试 时 不 需要 检查 程序 代码 ， 而 要 检查 规格 
说 明 。 领 域 测试 可 以 看 作 是 下 一 层 测 试 ， 甚 至 不 检查 软件 产品 的 规格 说 明 ， 纯 粹 根据 应 用 领 
域 专门 知识 和 经 验 测 试 产 品 。 这 种 测试 方法 要 求 对 软件 所 针对 的 日 常 业务 活动 有 很 好 的 理解 ， 
要 求 业 务 领域 知识 而 不 是 软件 规格 说 明 包含 了 什么 ， 或 软件 是 怎样 编写 的 。 因 此 ， 领 域 测 试 
可 以 看 作 是 黑 盒 测试 的 扩展 。 当 我 们 从 白 盒 测试 转 到 黑 盒 测 试 ， 再 转 到 领域 测试 时 (如 图 4-5 
所 示 )， 我 们 对 于 软件 产品 的 细节 了 解 得 越 来 越 少 ， 越 来 越 多 地 关注 软件 产品 的 外 部 行为 。 
实施 领域 测试 的 测试 工程 师 要 有 关于 业务 领域 的 深入 知识 。 由 于 深入 的 业务 领域 知识 是 
领域 测试 的 前 提 ， 因 此 从 业务 领域 (例如 银行 、 保 险 等 ) 聘用 测试 人 员 并 对 其 进行 软件 方面 
的 培训 ， 而 不 是 让 软件 专业 人 员 接 受 业务 领域 知识 培训 ， 有 时 会 更 容易 一 些 。 这 可 以 减少 测 
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试 人 员 在 领域 知识 方面 的 培训 工作 量 和 时 间 ， 还 可 以 提高 领域 测试 的 效率 。 





领域 测试 


图 4-5 白 盒 、 黑 盒 和 领域 测试 的 内 容 


例如 ， 对 于 银行 软件 ， 了 解 银 行 的 账户 开设 过 程 能 使 测试 人 员 更 好 地 测试 功能 。 在 这 种 
情况 下 ， 负 责 账户 开设 的 银行 人 员 了 解 开设 账户 的 人 员 特 性 、 面 临 的 一 般 问 题 和 实际 解决 方 
案 。 进 一 步 地 说 ， 银 行人 员 可 能 遇 到 过 开设 账户 的 人 不 能 使 用 所 需 的 支持 文档 或 不 能 正确 填 
写 客户 申请 表 的 情况 。 在 这 种 情况 下 ， 银 行人 员 可 能 要 采取 不 同行 动 开 设 账户 。 虽 然 这 些 情 
况 的 大 多 数 会 明确 地 在 业务 需求 中 描述 ， 但 是 有 时 银行 人 员 在 测试 中 会 观察 到 需求 规格 说 明 
中 没有 明确 描述 的 问题 。 因 此 ， 当 银行 人 员 测 试 软件 时 ， 所 设计 的 测试 用 例 往往 更 全 面 、 更 
实际 。 

领域 测试 要 求 设计 并 执行 与 购买 和 使 用 该 软件 的 人 有 关 的 测试 用 例 ， 这 有 助 于 理解 他 们 
试图 解决 的 问题 ， 以 及 他 们 使 用 软件 解决 这 些 问 题 的 方式 。 领 域 测试 是 否 成 功 还 取决 于 测试 
工程 师 个 人 对 系统 运行 和 系统 应 该 支持 的 业务 过 程 的 理解 程度 。 如 果 测 试 人 员 不 理解 系统 或 
业务 过 程 ， 那 么 他 们 使 用 软件 以 及 通过 测试 脚本 和 测试 用 例 测试 软件 ， 都 是 很 困难 的 。 

领域 测试 要 测试 的 是 产品 ， 而 不 是 全 面 检查 产品 的 逻辑 。 业 务 流 程 而 不 是 被 测 软件 决定 
测试 步骤 。 领 域 测试 又 叫做 “业务 纵向 测试 "。 编 写 测试 用 例 的 依据 ”领域 测试 是 测试 人 





是 软件 用 户 的 日 常 工作 。 员 运 用 自己 的 领域 知识 
下 面 再 通过 在 ATM 机 上 提取 现金 功能 的 例子 来 进一步 理解 领域 测 测试 产品 对 于 用 户 日 常 
试 ， 这 个 例子 扩展 了 前 面 银行 软件 的 例子 。 用 户 执 行 以 下 步 又 : 工作 适合 性 的 测试 。 





步骤 1: 来 到 ATM 前 面 。 

步骤 2: 把 卡 插入 ATM。 

步骤 3: 输入 正确 的 个 人 标识 号 。 

步骤 4: 选择 提取 现金 。 

步骤 5: 输入 金额 。 

步骤 6: 拿 钱 。 

步骤 7: 退出 并 取 卡 。 

在 上 面 的 例子 中 ， 领 域 测 试 人 员 关 注 的 并 不 是 测试 设计 中 的 所 有 细节 ， 而 是 关注 测试 业 
务 流 程 的 所 有 细节 。 在 上 面 的 流程 中 有 一 些 设 计 逻 辑 步骤 不 一 定 测 试 。 例 如 ， 如 果 要 进行 其 
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他 形式 的 黑 盒 测试 ， 可 能 要 测试 是 否 使 用 了 合适 的 币值 名 称 。 测 试 币值 名 称 的 典型 黑 盒 测试 
方法 是 检查 是 否 给 出 所 需 的 名 称 ， 而 且 所 要 求 的 金额 是 否 能 够 分 解 到 已 有 的 币值 。 而 在 作为 
最 终 用 户 进行 领域 测试 时 ， 所 关心 的 只 是 能 否 得 到 所 要 数额 的 现金 。( 毕 竟 没 有 ATM 能 提供 选 
择 币 值 的 便利 。) 在 编写 领域 测试 的 测试 用 例 时 ， 会 发 现 规格 说 明 中 省 略 了 这 些 中 间 步 又 。 省 
略 步 纹 并 不 意味 着 这 些 步骤 不 重要 。 这 些 “ 省 略 步骤 ”( 例 如 检查 币值 ) 应 该 在 启动 领域 测试 
之 前 进行 。 

黑 盒 测试 倡导 测试 对 于 具体 测试 类 型 或 阶段 更 有 意义 的 区 域 。 像 等 价 划分 和 决策 表 这 样 
的 技术 对 于 黑 盒 测试 的 早期 阶段 都 是 非常 有 用 的 ， 能 够 捕获 一 定 类 型 的 缺陷 或 测试 条 件 。 一 
般 来 说 ， 领 域 测 试 要 在 所 有 组 件 都 集成 之 后 并 在 产品 完成 其 他 黑 盒 测试 〈 例 如 等 价 划分 和 边 
界 值 分 析 ) 之 后 进行 。 因 此 ， 领 域 测试 的 关注 点 更 多 地 集中 在 业务 领域 上 ， 以 保证 软件 具有 
领域 所 需要 的 功能 。 为 了 测试 软件 是 否 具有 特定 的 “领域 智能 ”， 测 试 人 员 应 具备 业务 流程 方 
面 的 实际 知识 。 这 一 点 可 以 通过 能 够 检查 实际 业务 场景 的 更 好 、 更 有 效 的 测试 用 例 反 映 出 来 ， 
可 以 满足 领域 测试 的 目标 和 目的 。 


4.5 小 结 





二 寺 坟 二 认 相 提 风 本 章 介绍 了 执行 时 全 测试 的 多 种 技术 。 这 些 技术 并 不 是 相互 排斥 
全 测 访 就 你 看 地 图 时 。 的。 在 实际 产品 测试 中 ， 应 组 合 运用 这 些 测试 技术 以 最 大 限度 地 提高 
全 知道 自己 在 嘱 里 、。 不 。 有 效 性 。 表 4-12 归 纳 了 这 些 技术 适用 的 场景 。 通 过 明智 地 组 合 使 用 这 
吉 记 目的 地 沁 什 么 一 粹 。 。 些 不 同 的 技术 可 降低 下 游 其 他 测试 ， 例 如 集成 测试 、 系 统 测试 等 的 总 








成 本 。 
表 4-12 黑 盒 测试 技术 的 适用 场景 
要 测试 的 场景 最 有 效 的 黑 盒 测试 技术 

输出 值 可 以 根据 输入 变量 取 值 由 一 定 的 条 件 确定 决策 表 

输入 值 可 以 分 范围 ， 每 个 取 值 范围 对 应 一 种 特定 的 功能 边界 值 分 析 

输入 值 可 以 划分 为 类 (例如 范围 、 取 值 表 等 )， 每 个 类 对 应 一 种 特定 的 功能 等 价 划分 

检查 期 望 和 未 期 望 的 输入 值 正面 和 负面 测试 
工作 流 、 过 程 流 或 语言 处 理 器 基于 图 的 测试 
保证 需求 的 完备 测试 和 恰当 满足 基于 需求 的 测试 
测试 领域 问题 而 不 是 产品 规格 说 明 领域 测试 


文档 测试 


保证 文档 与 产品 一 致 


问题 与 练习 


1 请 邯 虑 本 章 介绍 的 锁 和 钥匙 例子 。 我 们 曾 假设 锁 只 有 一 把 钥匙 。 假 设 锁 需要 两 把 钥匙 按 一 
定 顺序 插入 。 请 修改 表 4-1 给 出 的 样本 需求 ， 把 这 个 新 条 件 包含 进去 。 相 应 地 重建 一 个 类 似 
表 4-2 的 跟踪 和 矩阵。 

2 对 于 以 下 每 种 情况 ， 确 定 可 用 来 测试 以 下 需求 的 最 适合 的 黑 盒 测试 技术 ; 

a. “性 别 代码 的 有 效 值 是 "“M 或 F 。 
b “员工 有 资格 每 年 请 假 的 天 数 ， 对 于 工作 未 满 3 年 的 是 10 天 ， 满 3 年 未 满 5 年 的 是 15 天 ， 满 
5 年 的 是 20 天 ”。 
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c. “每 份 采购 订单 都 必须 先 经 过 员工 经 理 和 采购 部 负责 人 的 批准 。 此 外 ， 如 果 金 额 超过 10 
000 美 元 ， 还 应 经 过 CFO 的 批准 ”。 

d. “文件 名 应 以 字母 开头 ， 可 以 有 最 多 30 个 字母 数字 ， 可 以 有 一 个 英文 句号 后 接 最 多 10 个 
字母 数字 ”。 

e. “到 银行 开户 的 储户 可 能 没有 进行 生日 的 英文 确认 。 在 这 种 情况 下 ， 银 行 柜员 必须 能 够 
判断 ， 人 工 取 消 输入 生日 确认 码 的 处 理 ”。 


. 请 考虑 第 3 章 问题 4 已 经 介绍 过 的 从 链表 删除 一 个 元 素 的 例子 。 这 个 例子 的 边界 值 条 件 是 什 


么 ? 确定 要 在 边界 值 上 和 附近 进行 测试 的 数据 。 


.一 个 基于 Web 的 应 用 软件 可 以 部 署 在 以 下 环境 中 


a. 操作 系统 (Windows 和 Linux) 
b. Web 服 务 器 (IIS 5.0 和 Apache ) 
c. 数据 库 (Oracle 和 SQL Server) 
d. 浏览 器 (IE 6.0 和 FireFox ) 
如 果 要 穷尽 测试 所 有 配置 组 合 ， 需 要 测试 多 少 种 配置 ? 对 上 表 进 行 剪裁 采用 的 准则 是 
件 和 多” 


-产品 通常 提供 不 同类 型 的 文档 ， 包 括 安装 文档 (用 于 产品 安装 )、 管 理 文档 、 用 户 指南 等 。 


测试 这 些 不 同类 型 的 文档 需要 什么 技能 ?对 于 每 种 文档 什么 人 最 有 资格 进行 测试 ? 


. 某 个 仓库 系统 中 的 产品 代码 输入 值 应 通过 一 个 产品 主 表 提供 。 请 确定 用 于 这 些 需 求 测试 的 


等 价 类 集合 。 
.本 书 讨论 了 将 输入 空间 划分 为 多 个 等 价 类 的 例子 。 请 举 出 等 价 类 可 以 通过 划分 输出 类 的 方 
法 获得 的 情况 。 


请 考虑 第 3 章 给 出 的 日 期 确认 例子 。 假 设 不 能 得 到 程序 代码 ， 用 本 章 讨论 的 任何 技术 导出 一 
组 测试 用 例 ， 并 用 以 下 表格 表示 设计 结果 。 


选择 该 数据 的 理由 可 使 用 的 墨盒 测试 技术 






测试 数据 预期 结果 











. 以 下 给 出 创建 SQL 数据 库 表 的 一 个 样本 规则 : 


SQL 语句 应 该 以 如 下 句法 开头 : 


CREATE TABLE < 表 名 > 


后 面 应 该 接 一 个 左 插 号 、 一 个 用 逗号 分 隔 的 标识 列表 和 一 个 右 括号 。 每 个 列 标识 都 应 
提供 一 个 强制 的 列 名 、 一 个 强制 的 列 类 型 (应 该 是 NUMBER、CHAR 和 DATE 之 一 ) 和 一 个 可 
选 的 列 宽 。 此 外 ， 还 有 以 下 规则 : 

a. 每 个 关键 字 可 以 缩写 为 3 个 或 更 多 字符 

b. 列 名 在 表 中 必须 唯一 

c. 表 名 不 能 重复 

请 根据 以 上 需求 画 出 状态 图 并 导出 初始 测试 用 例 。 采 用 其 他 合适 的 技术 检查 以 上 的 规则 a 


至 6。 


第 5 章 集成 测试 


5.1 集成 测试 的 定义 


系统 是 由 可 以 包括 硬件 和 软件 的 多 个 组 件 或 模块 组 成 的 。 集 成 定义 为 组 件 之 间 的 交互 。 
测试 模块 之 间 以 及 与 其 他 外 部 系统 交互 的 集成 叫做 集成 测试 。 集 成 测试 在 完成 了 两 个 产品 组 
件 后 就 可 以 开始 进行 ， 直 到 所 有 组 件 界面 都 测试 完毕 结束 。 最 后 一 轮 包 含 所 有 组 件 的 集成 叫 
做 最 终 集成 测试 (FIT) ， 或 系统 集成 。 

集成 测试 既是 一 种 测试 类 型 也 是 一 个 测试 阶段 。 因 为 集成 定义 为 一 组 交互 ， 因 此 组 件 之 
间 的 所 有 已 定义 的 交互 都 需要 测试 。 体 系 结构 和 设计 可 以 提供 系统 内 部 的 交互 细节 ， 但 是 测 
试 一 个 系统 与 另 一 个 系统 之 间 的 交互 要 求 对 这 些 系统 一 起 工作 的 方式 有 深刻 理解 。 这 种 集成 
知识 〈 也 就 是 关于 系统 或 模块 在 一 起 工作 的 知识 ) 取决 于 很 多 模块 和 系统 。 这 种 千差万别 的 
模块 在 与 其 他 系统 集成 时 可 能 有 不 同 的 工作 方式 。 这 会 给 集成 测试 规程 和 要 完成 的 工作 带 来 
复杂 性 。 由 于 认识 到 这 种 复杂 性 ， 因 此 人 们 专门 用 一 个 测试 阶段 测试 这 些 集 成 ， 逐 渐 产 生 集 
成 测试 过 程 。 这 个 阶段 叫做 集成 测试 阶段 。 

由 于 集成 测试 的 目标 是 模块 之 间 的 交互 ， 因 此 这 种 测试 就 像 白 盒 、 
黑 盒 和 其 他 类 型 的 测试 一 样 ， 也 有 一 套 以 下 将 要 介绍 的 技术 和 方法 。 
因此 ， 集 成 测试 又 看 作 是 一 种 测试 类 型 (所 以 放 在 本 书 的 第 二 部 分 中 )。 

下 一 节 将 介绍 作为 一 种 测试 类 型 的 集成 测试 ， 下 节 之 后 将 把 集成 作为 一 个 测试 阶段 。 


5.2 集成 测试 作为 一 种 测试 类 型 


集成 测试 意味 着 测试 接口 。 在 说 到 接口 时 ， 需 要 注意 集成 测试 要 测试 两 种 接口 ， 即 内 部 
接口 和 输出 接口 。 

内 部 接口 是 指 在 项 目 或 产品 内 部 两 块 模 块 之 间 提 供 通 信 的 接口 ， 是 产品 内 部 的 ， 不 对 客 
户 或 外 部 开发 人 员 开 放 。 输 出 接口 是 产品 之 外 第 三 方 开发 人 员 和 解决 方案 提供 商 可 以 看 到 的 
接口 。 

提供 接口 的 一 种 方法 是 提供 应 用 编程 接口 (API) 。API 使 一 个 模块 能 够 调用 另 一 个 模块 。 
发 出 调用 的 模块 可 以 是 内 部 的 ， 也 可 以 是 外 部 的 。 例 如 ，JDBC 就 是 Java 程 序 通过 使 用 API 实 
现 特定 SQL 调用 的 例子 。 尽 管 API 和 接口 很 相似 ， 但 是 重要 的 是 要 认识 到 ， 集 成 是 要 达到 的 目 
的 ， 而 API 是 达到 这 种 目的 的 一 种 手段 ， 只 是 提供 两 个 模块 之 间接 口 的 手段 之 一 。 读 者 会 想到 
各 种 模块 之 间 的 其 他 集成 手段 。 比 如 简单 的 函数 调用 、 公 共 函 数 ， 还 比如 程序 设计 语言 结构 
的 一 些 特 性 ， 如 全 局 变量 ， 还 比如 操作 系统 结构 ， 如 标志 和 共享 内 存 。 本 章 不 打算 详细 讨论 
集成 载体 (这 主要 是 开发 问题 ) ， 而 是 要 研究 完 疯 该 怎样 测试 接口 〈 这 是 测试 关注 点 )。 

并 不 是 所 有 接口 都 可 以 同时 提供 测试 ， 因 为 通常 不 同 的 接口 是 由 不 同 的 开发 团队 开发 的 ， 每 
个 团队 都 会 有 自己 的 进度 安排 。 为 了 在 不 能 提供 所 涉及 的 组 件 全 部 功能 的 情况 下 测试 接口 ， 可 使 
用 桩 模块 。 桩 模块 通过 以 合适 的 格式 提供 合适 的 值 ， 就 像 要 集成 的 实际 组 件 一 样 ， 模 拟 接口 。 


集成 测试 既是 一 个 
阶段 也 是 一 种 测试 类 型 。 
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集成 测试 通过 历 遍 内 部 和 输出 接口 并 测试 软件 功能 的 测试 用 例 完成 。 内 部 接口 是 供 组 织 内 
部 其 他 开发 人 员 使 用 的 ， 输 出 接口 是 供 第 三 方 开发 人 员 或 组 织 外 其 他 用 户 使 用 的 。 内 部 接口 
的 测试 需要 完全 理解 体系 结构 和 高 层 设 计 (HLD) ， 及 其 对 软件 功能 的 影响 。 对 于 软件 提供 的 
输出 接口 ， 需 要 理解 这 些 接口 的 用 途 ， 提 供 这些 接 口 的 理由 ， 以 及 开发 人 员 和 解决 方案 集成 
提供 商 实际 使 用 这 些 接口 的 方法 。 因 此 ， 设 计 、 体 系 结构 和 用 法 知识 是 实施 集成 测试 必需 的 。 

最 初 的 输出 (或 外 部 ) 接口 是 通过 API 和 软件 开发 包 (SDK) 提供 的 。SDK 的 使 用 要 求 理 
， 解 提供 APISDK 的 程序 设计 语言 。 以 后 ， 接 口 可 以 通过 脚本 语言 提供 ， 不 需要 SDK。( 一 些 流 
行 的 脚本 语言 包括 Perl、Tcl/Tk 等 )。 这 些 脚 本 语言 的 使 用 者 不 必 或 不 需要 深入 学 习 编 号 API 所 
使 用 的 语言 ， 接 口 能 够 被 与 最 初 编写 该 接口 不 同 的 程序 设计 语言 环境 调用 。 这 极 大 地 简化 了 
输出 接口 的 使 用 。 为 了 测试 接口 ， 可 以 通过 点 击 鼠 标 ， 动 态 地 创建 脚本 ， 并 可 以 在 运行 时 进 
行 修 改 。 

所 有 这 些 都 促使 接口 广泛 使 用 ， 接 口 的 用 途 也 越 来 越 多 。 这 些 接口 已 经 变 得 越 来 越 通用 ， 





不 再 局 限于 特定 的 应 用 或 语言 。 这 导致 越 来 越 多 地 出 现 接口 排列 组 合 集成 测试 作为 二 种 
地 使 用 的 情况 。 因 此 ， 集 成 测试 的 复杂 性 ， 即 测试 接口 各 种 使 用 场景 测试 类 型 ， 关 注 测 斌 
的 复杂 性 ， 也 显著 增加 。 “ 隐 式 和 显 式 ”"、 “内 部 和 

在 呈 论 接口 时 ， 需 要 记 住 并 不 是 模块 之 间 的 所 有 交互 都 是 已 知 的 ，” 外 部 ”的 接口 
都 是 通过 接口 解释 的 。 有 些 接口 写 和 文档， 有 些 则 不 写 入 。 这 就 带 来 
男 一 种 接口 分 类 ， 即 隐 式 接口 和 显 式 接口 。 显 式 接口 是 写 入 文档 的 接口 ， 隐 式 接口 是 软件 工 
程 师 内 部 知道 ,但 是 没有 写 入 文档 的 接口 。 测 试 ( 白 盒 和 黑 盒 ) 既 要 检查 显 式 接口 也 要 检查 
隐 式 接口 ， 测 试 所 有 的 交互 。 

测试 人 员 经 常会 想到 的 一 个 问题 是 ， 究 竟 集 成 测试 是 白 盒 测试 还 是 黑 盒 测试 。 在 大 多 数 
情况 下 ， 最 恰当 的 回答 是 集成 测试 是 一 种 黑 盒 测 试 。 但 是 有 时 体系 结构 或 设计 文档 没有 解释 
清楚 组 件 之 间 的 所 有 接口 ， 那 么 集成 测试 也 会 包括 检查 代码 以 生成 额外 的 测试 用 例 ， 并 与 通 
过 爱 盒 测试 方法 生成 的 测试 用 例 一 起 使 用 。 这 种 方法 可 以 叫做 “ 灰 金 测试 ”方法 。 

下 面 通过 例子 解释 。 图 5-1 给 出 了 一 组 模块 和 与 其 相关 的 接口 。 根 据 对 体系 结构 、 设 计 或 
用 法 的 理解 ， 可 得 到 实 线 表 示 的 显 式 接口 和 虚线 表示 的 隐 式 接口 。 























。 | 
图 5-1 一 组 模块 和 接口 
从 图 5-1 可 以 清楚 地 看 出 ， 模 块 之 间 至 少 有 12 个 接口 需要 测试 (9 个 显 式 接口 和 3 个 隐 式 接 
口 ) 。 下 一 个 问题 是 需要 以 什么 顺序 测试 这 些 接口 。 已 有 多 种 方法 可 用 来 确定 集成 测试 的 顺序 ， 
包括 : 
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1. 自 顶 向 下 集成 
2. 自 底 向 上 集成 
3. 双向 集成 
.4. 系统 集成 


5.2.1 自 项 向 下 集成 


集成 测试 首先 测试 最 上 层 的 组 件 与 下 层 组 件 的 接口 ， 从 上 到 下 依次 测试 ， 直 到 覆盖 所 有 
组 件 0 

为 了 更 好 地 理解 这 种 方法 ， 假 设 某 个 新 产品 软件 开发 按 图 5-2 给 出 的 编号 顺序 逐个 完成 各 
个 组 件 。 集 成 测试 首先 测试 组 件 1 和 组 件 2 之 间 的 接口 。 为 了 完成 集成 测试 ， 需 要 一 起 测试 图 
5-2 中 禾 盖 所 有 箭头 的 全 部 接口 。 接 口 测试 的 实施 顺序 如 表 5-1 所 示 。 





图 5-2 自 顶 向 下 集成 举例 
在 增 量 产品 开发 模型 中 ， 每 个 增 量 都 要 在 产品 中 增加 一 两 个 组 件 ， 集 成 测试 方法 要 求 只 


对 所 增加 的 新 接口 和 产品 中 受 变更 或 增加 影响 表 5-1 图 5-2 所 示例 子 的 接口 测试 顺序 
的 有 关 接 口 进行 测试 。 因 此 ， 在 这 种 情况 下 并 步 又 测试 的 接口 
不 是 以 上 所 有 集成 测试 步骤 都 要 执行 。 例 如 ， 1 1-2 
在 图 5-2 中 假设 一 个 组 件 ( 组 件 8) 是 新 增加 到 2 
这 个 版 本 上 的 ， 所 有 其 他 组 件 都 在 前 一 个 版 本 4 1.2.5 
中 测试 过 。 如 果 这 种 增加 会 对 组 件 5 的 功能 产生 2 0 
影响 ， 那 么 当前 版 本 的 集成 测试 只 需要 包含 步 7 (1-2-5)-(1-3-6-(3-7)) 
又 4、7、8 和 9。 8 1-4-8 
9 (1-2-5)-(1-3-6-(3-7))-(1-4-8) 


为 了 减少 集成 测试 的 步骤 数 ， 步 又 6 和 步骤 一 一 一 一 一 一 一 一 一 一 一 一 一 一 — 
7 可 以 合并 为 一 个 步骤 执行 。 类 似 地 ， 步 又 8 和 9 也 可 以 合并 为 一 个 步骤 执行 。 合 并 步骤 并 不 意 
味 着 减少 要 测试 的 接口 数量 ， 只 意味 着 可 以 缩短 等 待 时 间 ， 因 为 不 必 等 待 步 又 6 和 8 完成 就 可 
以 分 别 开 始 步骤 7 和 9。 

如 果 一 组 组 件 及 其 相关 的 接口 不 需要 其 他 组 件 先 完成 就 可 以 提供 功能 ， 或 在 软件 产品 中 
只 有 很 少 的 接口 需求 ， 那 么 这 组 组 件 及 其 相关 的 接口 叫做 “ 子 系统 "”。 产 品 中 的 每 个 子 系统 不 
管 是 否 有 其 他 子 系统 存在 都 能 够 独立 运行 。 这 使 得 集成 测试 更 容易 一 些 ， 并 使 关注 点 集中 到 
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所 要 求 的 接口 上 ， 而 不 必 考 虑 组 件 的 各 个 组 合 。 在 表 5-1 中 ， 属 于 步骤 4、6 和 8 的 组 件 可 以 认 
为 是 子 系统 。 

以 上 介绍 的 自 顶 向 下 集成 测试 假设 组 件 1 提供 了 其 他 组 件 所 需 的 所 有 接口 ， 即 使 其 他 组 件 
已 经 就 绪 ， 并 且 以 后 阶段 (也 就 是 说 ， 其 他 组 件 开发 完 ) 也 不 需要 修改 。 这 种 方法 反映 了 温 
布 或 V 字 软件 开发 模型 。 

如 采 高 层 组 件 在 每 次 增加 下 层 组 件 后 都 需要 修改 ， 那 么 对 于 增加 的 每 个 组 件 ， 集 成 测试 
都 要 从 步骤 1 开始 重复 。 这 可 能 是 迭代 式 软件 开发 模型 的 一 个 要 求 。 因 此 ， 不 管 使 用 什么 软件 
开发 模型 ， 自 顶 向 下 的 方法 经 过 适当 重复 都 可 以 在 集成 测试 中 使 用 。 

如 果 使 用 不 同 的 遍历 方法 ， 接 口 的 测试 顺序 会 产生 一 点 变化 ， 与 表 5-1 给 出 的 顺序 略 有 不 
间 。 广 度 优先 方法 测试 组 件 的 顺序 是 1-2、1-3、1-4 等 ， 深 度 优先 方法 测试 组 件 的 顺序 是 1-2-5、 
1-3-6 等 。 广 度 优先 方法 在 表 5-1 得 到 使 用 ， 因 为 假设 组 件 的 完成 顺序 同 组 件 的 编号 。 但 是 遵循 
这 种 集成 方法 并 不 需要 采用 同样 顺序 。 


5.2.2 自 底 向 上 集成 


自 底 向 上 集成 正好 与 自 顶 向 下 集成 相反 ， 即 新 产品 开发 的 组 件 反 过 来 就 绪 ， 从 最 下 层 开 
始 。 在 图 5-3 中 ,组 件 的 完成 顺序 与 图 中 的 编号 相同 。 





图 5-3 自 底 向 上 集成 举例 。 顺 箭头 方向 表示 罗 辑 流 ， 逆 箭头 方向 表示 集成 路 径 方向 


注 : 图 5-3 给 出 薪 头 的 两 个 方向 同时 表示 了 组 件 的 逻辑 流 和 集成 方向 。 逻 辑 流 从 上 到 下 ， 
集成 路 径 自 底 向 上 。 

自 底 向 上 集成 的 遍历 从 图 5-3 中 的 组 件 1 表 5-2 图 5-3 所 示 自 底 向 上 例子 的 接口 测试 顺序 
开始 ， 覆 盖 所 有 的 子 系统 ， 直 到 到 达 组 件 8。 步 又 测试 的 接口 
表 5-2 给 出 了 接口 测试 的 顺序 。 





1 1.5 
通过 合并 步骤 2 和 3、 步 又 5 至 8 ， 表 5-2 2 2-6、3-6 
所 示 集 成 步骤 数 可 以 优化 到 4 步 ， 如 表 5-2 所 3 2-6-(3-6) 
未 ， 其 见 彩 图 。 
与 前 面 在 介绍 自 顶 向 下 集成 时 提 到 的 一 a 
样 ， 对 于 增 量 式 产 品 开 发 ， 只 有 受 影响 和 增加 7 4-7-8 
的 接口 需要 测试 ， 覆 盖 所 有 子 系统 和 系统 组 件 。 8 (1-5-8)-(2-6-(3-6)-8)-(4-7-8) 


图 5-2 和 图 5-3 的 一 点 不 同 是 ， 后 者 的 箭 ? 
是 两 个 方向 的 。 自 顶 向 下 的 方向 表示 交互 或 控制 流 方向 ， 自 底 向 上 的 方向 表示 集成 方法 或 集成 
路 径 方向 。 这 意味 着 产品 的 逻辑 流 可 以 与 集成 路 径 的 方向 不 同 。 在 这 个 例子 中 ， 逻 辑 流 或 交 
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互 自 顶 向 下 ， 而 集成 路 径 自 底 向 上 。 这 种 方法 使 得 同一 个 产品 的 集成 路 径 可 以 组 合 。 

迭代 和 敏捷 模型 是 一 个 解释 逻辑 流 和 集成 路 径 不 同 的 例子 。 在 这 种 模型 中 ， 产 品 开发 组 
织 需 要 定期 向 客户 展示 产品 功能 ， 以 得 到 客户 反馈 。 提 高 交付 频 度 的 一 种 办 法 就 是 使 每 个 组 
件 都 独立 。 不 同 组 件 之 间 有 一 部 分 代码 重复 ， 以 便 向 客户 单独 展 示 组 件 。 重 复 的 代码 不 仅 是 
为 了 展示 产品 ， 也 是 为 了 独立 测试 。 在 上 面 的 例子 中 ， 组 件 5 一 8 作为 带 有 重复 的 公用 代码 独 
立 组 件 开 发 。 经 过 客户 的 测试 和 认可 之 后 ， 公 用 代码 就 会 推 到 高 层 组 件 中 ， 比 方 说 组 件 5 一 7。 
经 过 这 轮 欠 代 ， 组 件 5 一 7 仍然 有 重复 的 代码 ， 会 在 下 一 轮 运 代 中 通过 将 这 些 代码 转移 到 组 件 8， 
中 而 消除 。 这 是 一 种 进化 模型 ， 使 产品 经 过 多 轮 客 户 反馈 和 集成 后 最 终 完 成 。 接 口 定 义 只 在 
把 代码 转移 到 高 层 组 件 时 才 完 成 。 公 共 代 码 在 组 件 之 间 转 移 ， 只 在 转移 时 才 定 义 接口 。 因 此 
在 这 种 模型 中 ， 集 成 测试 的 每 轮 迭 代 都 从 表 5-2 中 的 步骤 1 开始 。 

读者 可 能 会 说 ， 自 顶 向 下 的 集成 方法 最 适合 瀑布 和 V 字 模型 ， 而 自 底 向 上 方法 适用 于 迭代 
和 敏捷 模型 。 从 过 程 的 观点 看 ， 这 只 对 上 面 的 例子 是 对 的 。 在 实践 中 ， 集 成 方法 的 选择 更 多 
取决 于 产品 的 设计 和 体系 结构 ， 取 决 于 对 应 的 优先 级 。 此 外 ， 合 适 方法 的 选择 需要 考虑 多 种 
其 他 视角 ， 例 如 组 件 的 就 绪 情 况 、 所 使 用 的 技术 、 过 程 、 测 试 技能 和 可 用 的 资源 。 


5.2.3 双向 集成 


双向 集成 组 合 了 自 顶 向 下 和 自 底 向 上 的 集成 方法 ， 组 合 导出 集成 步骤 。 

如 图 5-4 所 示 ， 假设 软件 组 件 的 就 绪 顺 序 与 图 中 的 编号 顺序 相同 。 单 独 测试 单个 组 件 1、2、 
3、4 和 5， 双 向 集成 最 初 通过 桩 模块 和 驱动 模块 进行 。 驱 动 模块 用 于 提供 上 游 的 连通 性 ， 而 桩 
模块 提供 下 游 的 连通 性 。 驱 动 模块 是 一 种 函数 ， 用 于 将 请 求 转移 到 某 个 其 他 组 件 ， 而 桩 模块 
模拟 尚未 就 绪 的 组 件 行为 。 当 测试 了 这 些 被 集成 组 件 的 功能 之 后 ， 要 丢弃 这 些 驱 动 模块 和 桩 
模块 。 一 旦 组 件 6、7 和 8 就 绪 ， 这 种 集成 方法 就 会 只 关注 这 些 组 件 ， 因 为 这 些 组 件 是 新 的 和 需 
要 关注 的 。 这 种 方法 又 叫做 “三 明治 集成 。 





图 5-4 双向 集成 





使 用 双向 集成 方法 的 操作 步 又 如 表 5-3 所 示 ， 
参见 彩 图 。 表 5-3 采用 三 明治 测试 方法 的 集成 步骤 
从 表 5-3 可 以 看 出 ， 在 这 个 例子 中 ， 步 骤 1~3 步 又 测试 的 接口 
采用 了 自 底 向 上 的 集成 方法 ， 步 又 4 使 用 了 自 顶 向 I 62 
下 的 集成 方法 。 0 
这 种 方法 适用 于 从 两 层 到 三 层 体系 结构 环境 3 8-5 
4 (1-6-2)-(1-7-3-4)-(1-8-5) 


迁移 的 情况 。 在 产品 开发 阶段 ， 当 需要 从 两 层 体 
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系 结构 向 三 层 体系 结构 迁移 时 ， 中 间 层 (组 件 6 一 8) 作为 通过 取 自 下 层 的 应 用 和 上 层 的 服务 
代码 的 一 组 新 组 件 创 建 。 


5.2.4 系统 集成 


系统 集成 意味 着 将 系统 的 所 有 组 件 集成 起 来 作为 一 个 单元 。 测 试 接口 的 集成 测试 可 分 为 
两 个 类 : 

。 组件 或 子 系统 集成 

。 最 终 集成 测试 或 系统 集成 

在 研究 以 上 各 个 集成 方法 论 的 步骤 时 ， 可 以 发 现 完整 的 系统 集成 也 包含 在 最 后 一 个 步骤 
中 。 因 此 ， 系 统 集成 实际 上 是 以 上 介绍 的 各 种 方法 论 的 一 部 分 。 

这 种 方法 的 突出 特点 是 优化 问题 。 这 种 方法 不 是 逐个 组 件 地 集成 和 测试 ， 而 是 等 到 所 有 
组 件 就 绪 后 进行 一 轮 集 成 测试 。 这 种 方法 又 叫做 大 爆炸 集成 。 这 种 方法 可 以 减少 测试 工作 量 ， 
并 节省 测试 中 的 重复 工作 。 

采用 大 爆炸 方法 的 系统 集成 最 适合 绝 大 多 数组 件 已 经 就 绪 且 稳定 ， 要 增加 或 修改 的 组 件 
非常 沪 的 产品 开发 场景 。 在 这 种 情况 下 ， 不 是 逐个 测试 组 件 接口 ， 而 ”大 爆炸 集成 送 合 接口 
是 集成 了 所 有 的 组 件 后 进行 一 次 测试 ， 可 比分 多 个 步骤 进行 组 件 集成 稳定 且 缺 隐 很 少 的 产品 。 
节省 工作 量 和 时 间 。 te 

虽然 这 种 方法 可 以 节省 时 间 和 工作 量 ， 但 也 并 不 是 没有 缺点 。 对 产品 的 发 布 时 间 和 质量 
有 影响 的 一 些 主要 缺点 有 : 

1. 如 果 在 系统 集成 过 程 中 出 现 失 效 或 缺陷 ， 则 很 难 在 产品 中 定位 ， 以 找 出 缺陷 所 在 的 接 
口 。 可 能 又 要 回 到 调试 阶段 ， 重 新 关注 特定 的 接口 并 进行 测试 。 

2. 确定 由 谁 来 消除 缺陷 根源 可 能 会 很 困难 。 

3. 集成 测试 是 在 最 后 进行 的 ， 发 布 日 期 临近 的 压力 非常 大 。 作 用 在 工程 师 身 上 的 这 种 进 
度 压力 会 影响 产品 的 质量 。 

4. 如 果 有 些 组 件 的 就 绪 时 间 推 迟 ， 就 不 能 先行 测试 其 他 接口 ， 导 致 浪费 时 间 。 

由 于 有 这 些 缺 点 ， 选 择 集成 测试 的 方法 就 变 得 极为 重要 。 需 要 将 以 上 方法 合理 地 组 合 ， 
以 达到 提高 集成 测试 时 间 效 率 和 质量 的 目的 。 


5.2.5 选择 集成 方法 


表 5-4 给 出 了 一 些 大 概 层次 的 集成 方法 选择 指南 。 正 如 前 面 提 到 过 的 ， 集 成 方法 不 仅 取决 
于 过 程 和 开发 模型 ， 而 且 取 决 于 各 种 其 他 因素 。 
表 5-4 ”集成 方法 选择 指南 





序号 因 素 建议 使 用 的 集成 方法 

1 需求 和 设计 很 清楚 自 顶 向 下 

2 需求 、 设 计 和 体系 结构 不 断 改 变 自 底 向 上 

3 体系 结构 改变 ,设计 稳定 双向 

4 对 现 有 体系 结构 的 改变 很 有 限 ， 影 响 较 小 大 爆炸 3 

5 以 上 各 种 情况 的 组 合 经 过 精心 分 析 后 选择 以 上 一 种 方法 


从 将 两 个 组 件 集 成 
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5.3 ”集成 测试 作为 一 个 测试 阶段 


本 章 开 头 已 经 介绍 过 ， 集 成 测试 作为 一 个 测试 阶段 ， 从 有 两 个 组 件 可 以 一 起 测试 开始 ， 到 
所 有 组 件 可 以 作为 一 个 完整 系统 一 起 运行 提供 系统 产品 功能 为 止 。 在 集成 测试 阶段 ， 关 注 点 
不 仅 要 放 在 组 件 的 功能 是 否 有 效 ， 还 要 放 在 组 件 是 否 能 够 一 起 运行 ， 提 供 子 系统 和 系统 功能 。 

集成 测试 阶段 关注 发 现 由 于 各 种 被 测 构建 的 组 合 引起 的 缺陷 ， 而 不 是 关注 组 件 或 少量 组 
件 。 集 成 测试 作为 一 种 类 型 ， 关 注 接口 的 测试 ， 这 是 集成 测试 阶段 的 一 个 子 集 。 当 把 子 系统 
或 系统 组 件 放 到 ( 即 集成 到 ) 一 起 时 ， 不 仅 接口 会 暴露 缺陷 ， 各 种 其 他 原因 ， 例 如 用 法 、 对 
产品 领域 的 不 完备 理解 、 用 户 错误 等 ， 都 会 暴露 缺陷 。 因 此 ， 集 成 测试 阶段 既 要 关注 接口 ， 
也 要 关注 使 用 流 。 必 须 注意 这 一 点 ， 以 避免 将 集成 测试 类 型 和 集成 测试 阶段 相 混 请 。 

集成 测试 作为 一 个 阶段 包括 在 这 个 阶段 内 完成 的 不 同 活 动 和 不 同类 型 的 测试 。 这 个 测试 
阶段 要 保证 测试 的 彻底 性 和 功能 覆盖 率 。 为 了 达到 这 个 目标 ， 不 仅 要 关注 按 计 划 执 行 的 测试 
用 例 ， 而 且 要 关注 没有 列 入 计划 的 测试 ， 即 所 谓 “ 即 兴 测 试 *。 第 1 章 
在 介绍 测试 原理 时 说 过 ， 测 试 是 没有 尽头 的 ， 质 量 不 仅 取 决 于 预先 写 


到 一 起 开始 ， 到 所 有 系 
统 组 件 在 一 起 运行 为 止 
的 所 有 测试 活动 ， 都 可 
以 认为 是 集成 测试 阶段 
的 一 部 分 。 


好 的 测试 用 例 ， 即 兴 测 试 对 于 集成 测试 阶段 非常 重要 。 即 兴 测 试 有 很 
多 不 同 的 叫 法 ， 例 如 探索 式 测试 、 猴 子 测试 、 盒 外 测试 等 〈 请 参阅 第 
10 章 ) 。 所 有 这 些 测试 都 在 集成 测试 阶段 发 挥 同样 的 作用 ， 即 发 现 执 
行 计划 内 的 测试 用 例 没 有 发 现 的 缺陷 。 即 兴 测 试 有 助 于 对 某 些 测试 团 


队 很 难 发 现 、 在 开始 很 难 想象 的 问题 进行 定位 ， 还 有 助 于 系统 的 所 有 


内 部 用 户 对 软件 产生 一 种 不 错 的 感觉 ， 对 产品 有 一 种 总 体 的 接受 感 。 


集成 测试 阶段 包括 开发 和 执行 覆盖 多 个 组 件 和 功能 的 测试 用 例 。 当 不 同 组 件 或 功能 组 合 
在 一 起 测试 相关 操作 的 序列 时 ， 叫 做 场景 。 场 景 测试 是 一 种 经 过 策划 的 活动 ， 用 来 检查 不 同 
的 使 用 模式 ， 并 将 其 合并 为 测试 用 例 ， 叫 做 场景 测试 用 例 。 以 下 详细 讨论 场景 测试 。 


5.4 场景 测试 


场景 测试 是 ， 用 来 评价 产品 的 一 组 实际 用 户 的 活动 。 场 景 测试 还 定义 为 包含 客户 场景 的 
测试 。 

有 两 种 方法 可 用 来 开发 场景 : 

1. 系统 场景 

2. 用 例 场 景 /基于 角色 的 场景 


5.4.1 系统 场景 


系统 场景 是 一 种 方法 ， 用 于 场景 测试 的 一 组 活动 涵盖 系统 的 多 个 组 件 。 以 下 方法 可 以 用 
于 开发 系统 场景 。 

故事 线 开发 一 个 故事 线 ， 将 最 终 用 户 可 能 执行 的 各 种 产品 操作 活动 组 合 到 一 起 。 用 户 进 
入 自己 的 办 公 室 ， 登 录 系统 ， 检 查 电子 邮件 ， 给 一 些 邮件 写 回 信 ， 编 译 程序 ， 执 行 单元 测试 
等 。 所 有 这 些 在 日 常 工作 中 完成 的 典型 活动 组 合 在 一 起 构成 一 个 场景 。 

生存 周期 /状态 转移 考虑 一 个 对 象 ， 导 出 对 该 对 象 进行 的 各 种 转换 /修改 ， 导 出 覆盖 这 些 
迁移 的 场景 。 例 如 ， 在 银行 储蓄 账户 中 ， 首 先 可 以 用 一 定数 额 的 钱 开 一 个 账户 ， 然 后 存 一 笔 
钱 ， 取 一 笔 钱 ， 计 算 利息 ， 等 。 所 有 这 些 活 动 都 作用 于 “ 钱 ”这 个 对 象 ， 不 同 的 转换 也 作用 
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于 “ 钱 ” 这 个 对 象 ， 构 成 不 同 的 场景 。 

来 自 客户 的 部 署 /实现 故事 通过 已 知客 户 部 署 /实现 细节 开发 场景 ， 由 该 实现 中 的 各 种 用 
户 创建 一 组 活动 。 

业务 垂直 线 可 视 化 产品 /软件 用 于 不 同 纵向 业务 的 方式 ， 并 创建 一 组 行动 作为 创建 ， 描 述 
具体 的 纵向 业务 。 以 采购 功能 为 例 ， 不 同业 务 垂直 线 上 ， 例 如 药房 、 软 件 公 司 和 政府 组 织 的 
采购 功能 是 不 同 的 。 可 视 化 这 些 不 同类 型 的 测试 ， 能 使 产品 具有 “多 种 用 途 ”。 

战场 创建 一 些 场景 证 明 “ 产 品 有 效 ”， 再 创建 一 些 “ 尽 力 使 系统 崩溃 ”的 场景 证明“ 产 
品 无 效 ”"。 这 样 可 以 为 以 上 提 到 的 场景 增加 内 容 。 

如 果 组 合 使 用 以 上 提 到 的 绝 大 多 数 方法 ， 而 不 是 孤立 地 使 用 ， 可 以 更 有 效 地 创建 一 组 场 
景 。 场 景 不 应 是 一 组 相互 没有 联系 的 活动 。 场 景 中 的 任何 活动 永远 是 前 一 个 活动 结果 的 继续 。 
有 效 的 场景 要 综合 考虑 当前 客户 实现 和 产品 的 未 来 使 用 ， 以 及 开发 即兴 测试 用 例 。 只 考虑 一 
个 方面 〈 例 如 只 考虑 当前 客户 的 使 用 或 未 来 客户 需求 ) 会 使 场景 的 效果 降低 。 如 果 只 考虑 测 
试 当前 客户 的 使 用 ， 就 可 能 没有 充分 测试 新 特性 ， 如 果 场 景 只 考虑 未 来 市 场 ， 可 能 使 场景 测 
试 只 涉及 新 特性 ， 一 些 已 有 的 功能 可 能 没有 测 到 。 采 用 以 上 介绍 的 各 种 方法 恰当 组 合 创建 场 
景 ， 对 于 场景 测试 的 有 效 性 是 非常 关键 的 。 

覆盖 率 总 是 场景 测试 中 有 关 功 能 的 一 个 大 问题 。 这 种 测试 并 不 要 求 覆 盖 产 品 特性 和 使 用 
的 不 同 排列 组 合 。 但 是 ， 通 过 运用 某 种 简单 技术 ， 可 以 得 到 对 场景 测试 活动 覆盖 率 比 较 满 意 
的 理解 。 表 5-5 通 过 一 个 例子 解释 这 种 概念 。 


表 5-5 场景 测试 的 活动 覆盖 率 


最 终 用 户 活动 频率 优先 级 适用 环境 覆盖 的 次 数 
1. 登录 应 用 高 高 W2000，W2003，XP 10 
2. 创建 一 个 对 象 高 中 W2000, XP 7 
3. 修改 参数 中 中 W2000,XP 5 
4. 列 出 对 象 参 数 低 中 W2000,，XP, W2003 3 
5. 写 电子 邮件 中 中 W2000,，XP 6 
6. 加 附件 低 低 W2000,，XP 2 
7. 发 送 邮 件 高 高 W2000,， XP 10 


从 表 5-5 可 以 看 出 ， 系 统 场 景 测试 的 场景 集 已 经 很 好 地 覆盖 了 重要 活动 。 这 种 活动 表 还 有 
助 于 确保 所 有 活动 都 根据 在 客户 现场 的 使 用 频率 和 客户 使 用 确定 的 相对 优先 级 进行 了 覆盖 。 


5.4.2 用 例 场景 


用 例 场景 是 关于 用 户 按照 不 同 角色 和 相关 的 参数 ， 倾 向 使 用 系统 按 步 骤 描 述 的 规程 。 用 
例 场 景 可 以 包括 故事 、 图 片 和 部 署 细节 。 用 例 对 于 无 任何 歧义 地 解释 客户 问题 和 软件 解决 其 
问题 的 方式 非常 有 用 。 

一 个 用 例 可 以 包含 多 个 角色 或 根据 角色 执行 不 同 活动 的 用 户 类 。 有 些 活 动 是 各 角色 公用 
的 ， 有 些 活动 是 非常 特殊 的 ， 只 能 由 特定 角色 执行 。 用 例 场景 把 属于 不 同 角色 的 用 户 叫 做 参 
与 者 ， 把 产品 应 该 针对 特定 活动 作出 的 响应 叫做 系统 行为 。 在 参与 者 和 系统 之 间 交 互 的 特定 
角色 的 用 户 叫 做 代理 。 

为 了 解释 用 例 场景 的 概念 ， 举 一 个 从 银行 提取 现金 的 例子 。 储 户 填写 一 张 支票 并 交 给 银 
行 工 作 人 员 。 银 行 工 作 人 员 通 过 计算 机 检验 该 账户 的 余额 ， 并 将 所 要 求 的 现金 交 给 储户 。 这 
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个 例子 中 的 储户 就 是 参与 者 ， 银 行 工作 人 员 是 代理 ， 计 算 机 给 出 的 响应 ， 即 给 出 账户 余额 的 
行为 是 系统 响应 ， 如 图 5-5 所 示 。 





图 5-5 银行 用 例 场景 示例 


在 测试 用 例 中 描述 不 同 角色 的 方法 有 助 于 不 深入 产品 细节 就 测试 产品 。 在 上 面 的 例子 中 ， 
参与 者 (储户 ) 不 需要 知道 银行 工作 人 员 做 什么 和 自己 与 计算 机 交互 使 用 了 什么 命令 。 参 与 
者 只 关心 得 到 现金 。 代 理 (银行 工作 人 员 ) 不 关心 计算 机 工作 的 逻辑 和 方式 ， 只 关心 通过 计 
算 机 了 解 是 否 可 以 付 给 储户 所 要 求 的 现金 。 但 是 ， 需 要 在 使 用 代理 活动 和 参与 者 活动 序列 前 
测试 系统 行为 (计算 机 逻辑 )。 在 这 个 例子 中 ， 参 与 者 所 执行 的 活动 和 代理 可 以 由 对 产品 没有 
多 少 知识 的 测试 人 员 测 试 。 对 产品 有 深入 了 解 的 测试 人 员 可 以 进行 系统 行为 部 分 的 测试 。 他 
们 需要 了 解 代码 工 作 的 逻辑 和 方式 ， 了 解 系统 响应 是 否 准确 。 

前 面 已 经 介绍 过 ， 参 与 者 和 代理 对 应 不 同类 型 的 用 户 角色 。 模 拟 不 同类 型 的 用 户 也 需要 
清楚 地 理解 业务 和 系统 响应 ， 因 为 每 个 用 户 都 要 清晰 地 理解 产品 是 怎样 实现 的 。 因 此 ， 使 用 
用 例 模型 的 测试 人 员 ， 一 个 人 测试 行动 ， 另 一 个 人 测试 系统 响应 ， 相 互补 充 彼此 的 测试 ， 同 
时 测试 产品 的 业务 和 实现 问题 。 

用 例 的 代理 部 分 并 不 是 在 所 有 情况 都 需要 。 对 于 包含 客户 和 系统 的 完全 自动 化 的 系统 来 
说 ， 编 写 用 例 时 不 需要 考虑 代理 。 把 前 面 的 例子 扩展 为 使 用 ATM 机 提取 现金 。 表 5-6 说 明了 参 
与 者 和 系统 响应 如 何 通过 用 例 描述 。 


表 5-6 ATM 机 现金 提取 用 例 中 的 参与 者 和 系统 响应 











参 -与 者 系统 响应 
用 户 要 提取 现金 并 将 卡 插入 ATM 机 要 求 输入 密码 或 个 人 标识 号 (PIN) 
用 户 输 入 密码 或 个 人 标识 号 确认 密码 或 个 人 标识 号 ， 给 出 包含 账户 类 型 的 列表 
用 户 选择 账户 类 型 要 求 用 户 输入 要 提取 的 金额 
用 户 输入 要 提取 的 现金 金额 检查 可 用 的 现金 ， 更 新 账户 余额 ， 准 备 收据 ， 付 给 现金 
从 ATM 机 取 走 现金 打印 收据 


这 种 记述 场景 和 测试 的 方法 ， 使 客户 使 用 起 来 更 容易 也 更 实用 。 用 例 不 只 是 用 于 测试 。 
在 有 些 产品 实现 中 ， 用 例 在 设计 和 编码 阶段 之 前 就 已 准备 。 所 有 开发 活动 都 根据 用 例文 档 进 
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行 。 在 极限 编程 模型 中 ， 用 例 叫做 用 户 故 事 ， 形 成 体系 结构 /设计 和 编码 阶段 的 基础 。 因 此 ， 
用 例 对 于 合并 业务 视角 和 实现 细节 ， 并 将 其 一 起 测试 是 非常 有 用 的 。 


5.5 缺陷 围歼 


缺陷 围歼 是 一 种 即兴 测试 ， 由 人 员 装 扮 成 组 织 中 的 不 同 角色 在 一 起 同时 测试 产品 。 这 种 
做 法 被 应 用 程序 开发 公司 广泛 使 用 ， 他 们 的 产品 可 以 由 承担 不 同 角 色 的 人 员 使 用 。 在 实施 缺 
陷 围歼 时 所 有 参与 者 所 进行 的 测试 不 是 基于 已 写 好 的 测试 用 例 ， 要 测试 什么 内 容 是 由 参与 测 
试 的 每 个 人 的 判断 力 和 创造 力 决 定 。 他 们 还 可 以 尝试 一 些 超过 产品 规格 说 明 的 操作 。 缺 陷 转 
歼 总 结 了 很 多 在 测试 界 很 著名 的 很 好 的 实践 : 

1. 使 人 员 “ 跨 越 边界 并 跨越 已 分 配 领 域 测 试 ” 

2. 让 在 组 织 中 充当 不 同 角 色 的 人 一 起 进行 测试 一 一 “测试 不 只 是 测试 人 员 的 事 ” 

3. 让 组 织 中 的 每 个 人 在 产品 交付 前 使 用 产品 “各 尽 其 责 ” 

4. 引入 新 人 来 发 现 新 的 缺陷 一 一 “新 人 没有 多 少 偏 见 ” 

5. 引入 对 产品 有 不 同 理 解 程度 的 人 在 一 起 随机 地 测试 产品 “软件 的 用 户 是 不 同 的 ” 

6. 使 测试 不 等 待 文档 完成 “测试 要 等 到 所 有 文档 都 完成 后 才能 开始 吗 ? ” 

7. 既 要 允许 人 们 说 “系统 运行 正常 ”， 也 要 允许 人 们 说 “使 系统 崩 清 ”一 一 “测试 并 不 是 
要 得 出 系统 运行 正常 或 不 正常 的 结论 ” 

尽管 缺陷 围歼 被 认为 是 一 种 即兴 测试 ， 但 并 不 是 缺陷 围歼 的 所 有 活动 都 是 没有 计划 的 。 
缺陷 围歼 的 所 有 活动 ， 除 被 测试 的 内 容 外 都 是 有 计划 的 。 下 面 给 出 了 一 些 步骤 

步骤 1: 选择 缺陷 围歼 的 频 度 和 持续 时 间 

步骤 2: 选择 合适 的 产品 版 本 

步骤 3: 与 每 一 位 参与 人 员 就 每 次 缺陷 围歼 的 目标 进行 沟通 

步骤 4: 建立 和 监视 用 于 缺陷 围歼 的 实验 室 

步骤 5: 采取 行动 解决 问题 

步骤 6: 优化 缺陷 围歼 所 涉及 的 工作 











5.5.1 选择 缺陷 围歼 的 频 度 和 持续 时 间 


缺陷 围歼 是 一 项 包含 大 量 工 作 (因为 很 多 人 参加 ) 和 需要 大 量 策划 工作 (从 上 一 节 讨 论 
可 以 看 出 ) 的 活动 。 频 繁 缺 陷 围 歼 的 投入 回报 很 低 ， 而 过 少 次 数 的 缺陷 围歼 又 不 能 达到 发 现 
所 有 缺陷 的 目标 。 持 续 时 间 也 是 一 个 重要 因素 。 缩 短 有 很 多 人 参加 的 缺陷 围歼 持续 时 间 是 一 
项 很 大 的 市 省 。 男 一 方面 ， 如 果 持 续 时 间 很 短 ， 要 完成 的 测试 量 可 能 又 达 不 到 目标 。 


5.5.2 选择 合适 的 产品 版 本 


由 于 缺陷 围歼 需要 大 量 的 人 员 、 工 作 量 和 策划 ， 因 此 缺陷 围歼 需要 一 个 高 质量 的 版 本 。 
回归 测试 版 本 (请 参阅 第 8 章 ) 是 很 理想 的 ， 因 为 在 这 种 版 本 中 ， 所 有 新 功能 和 缺陷 修改 都 已 
经 过 测试 。 编 码 还 在 进化 的 中 间 版 本 和 没有 经 过 测试 的 版 本 都 会 降低 缺陷 围歼 的 效果 。 对 于 
有 很 多 人 参加 的 缺陷 围歼 ， 高 质量 的 版 本 会 使 大 家 增强 对 产品 和 工作 进展 的 信心 。 此 外 ， 如 
果 缺 陷 围 歼 的 测试 人 员 发 现 过 量 的 缺陷 或 非常 严重 的 缺陷 ， 则 测试 人 员 的 信心 就 会 下 降 ， 产 
品 不 稳定 的 印象 会 持续 很 长 时 间 。 
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5.5.3 ”对 缺陷 围歼 的 目标 进行 沟通 


尽管 缺陷 围歼 是 一 种 即兴 活动 ， 但 是 其 目的 和 目标 还 是 非常 清楚 的 。 由 于 缺陷 围歼 包含 
充当 不 同 角色 的 人 ， 因 此 必须 要 求 他 们 的 工作 满足 缺陷 围歼 的 目的 和 目标 。 目 标 应 该 是 发 现 
大 量 未 发 现 的 缺陷 ， 或 发 现 系统 需求 (CPU、 内 存 、 硬 盘 等 ) ， 或 发 现 不 可 重 现 或 随机 缺陷 ， 
这 些 缺 陷 通过 其 他 有 计划 的 测试 很 难 发 现 。 测 试 工程 师 很 容易 发 现 的 缺陷 ， 不 应 该 是 缺陷 转 
歼 的 目标 。 在 会 前 告知 与 会 者 这 些 之 后 ， 他 们 就 会 更 好 地 实现 目标 要 求 。 


5.5.4 建立 和 监视 实验 室 


由 于 缺陷 围歼 是 经 过 策划 、 短 暂 和 耗费 大 量 资源 的 活动 ， 因 此 需要 建立 并 监视 实验 室 。 
在 缺陷 围歼 正式 开始 之 前 ， 需 要 精心 策划 合适 的 配置 和 资源 (完成 缺陷 围歼 的 硬件 、 软 件 和 
人 员 ) 。 由 于 所 涉及 的 工作 量 很 大 ， 确 保 能 进行 合适 的 配置 ， 使 每 个 人 都 能 在 被 测 软件 上 完成 
自己 的 工作 是 非常 关键 的 。 绝 大 多 数 失败 的 缺陷 围歼 都 是 由 于 不 充足 的 硬件 、 错 误 的 软件 配 
置 和 与 软件 的 性 能 和 可 伸缩 性 有 关 的 理解 问题 。 在 缺陷 围歼 期 间 ， 需 要 监视 由 于 产品 参数 和 
系统 资源 (CPU、RAM、 硬 盘 、 网 络 等 ) 引起 的 缺陷 并 进行 处 理 ， 以 便 用 户 可 以 继续 使 用 系 
统 完 成 整个 缺陷 围歼 。 

有 两 种 缺陷 会 出 现在 缺陷 围歼 中 ， 一 种 是 产品 中 的 缺陷 ， 由 用 户 报告 ， 叫 做 功能 缺陷 。 在 
监视 系统 资源 时 发 现 的 缺陷 ， 例 如 内 存 泄漏 、 过 长 的 转换 时 间 遗 漏 请 求 、 占 用 大 量 系 统 资源 或 
有 很 大 影响 等 ， 叫 做 非 功能 缺陷 。 缺 陷 围歼 是 发 现 功能 和 非 功 能 缺陷 的 唯一 测试 方法 。 但 是 ， 
如 果 没 有 很 好 地 建立 实验 室 或 没有 恰当 地 监视 ， 一 些 非 功 能 缺陷 有 可 能 根本 就 没有 被 注意 到 。 


5.5.5 采取 行动 解决 问题 


最 后 一 个 步骤 是 在 缺陷 围歼 后 采取 必要 的 改正 行动 。 通 过 用 户 发 现 大 量 缺陷 是 缺陷 围歼 
的 目的 ， 也 是 缺陷 围歼 的 正常 结果 。 很 多 缺陷 都 是 重复 的 ， 但 是 不 同 用 户 对 相同 缺陷 的 不 同 
解释 ， 相 同 缺 陷 的 影响 会 在 不 同 的 地 方 以 不 同 的 形式 表现 出 来 ， 都 使 这 些 缺 陷 很 难 叫 做 重复 
的 。 由 于 可 能 会 有 大 量 缺陷 ， 因 此 解决 缺陷 围歼 发 现 的 问题 不 能 逐个 进行 。 如 果 逐 个 问题 地 
修改 代码 ， 会 很 难 解决 所 有 问题 。 需 要 在 更 高 层次 上 把 问题 分 类 ， 以 免 同 样 的 问题 再 出 现在 
将 来 的 缺陷 围歼 上 。 有 时 一 个 缺陷 就 是 一 类 ， 有 时 多 个 缺陷 算 作 一 类 。 例 如 “在 所 有 的 组 件 
中 ， 所 有 输入 的 员工 编号 都 应 该 在 业务 逻辑 使 用 之 前 进行 确认 。” 这样 就 使 不 同 组 件 的 所 有 缺 
陷 分 成 一 类 。 缺 陷 围 歼 发 现 的 所 有 问题 都 要 经 过 完备 的 代码 和 设计 审查 、 分 析 ， 并 一 起 从 根 
源 上 解决 。 因 此 ， 缺 陷 围 歼 的 结果 还 可 以 用 于 未 来 缺陷 围歼 的 缺陷 预防 。 


5.5.6 优化 缺陷 围歼 所 涉及 的 工作 


由 于 缺陷 围歼 涉及 大 量 人 员 ， 实 施 缺 陷 围歼 常常 需要 耗费 很 大 工作 量 。 如 果 记 录 了 缺陷 
围歼 的 目标 和 输出 ， 则 有 多 种 方法 可 以 优化 工作 量 。 前 面 提 到 的 采用 经 过 测试 的 软件 版 本 、 
提供 合适 的 环境 、 明 确 目标 等 ， 都 可 以 压缩 工作 量 并 达到 目标 。 压 缩 缺 陷 围歼 工作 量 的 另 一 
种 方法 是 在 组 织 大 型 缺陷 围歼 前 先 组 织 “ 小 型 ”缺陷 围歼 。 在 小 型 缺陷 围歼 上 会 发 现 一 些 明 
显 缺陷 。 由 于 缺陷 围歼 是 一 种 集成 测试 阶段 的 活动 ， 所 以 在 吸收 其 他 人 参加 之 前 ， 可 以 由 集 
成 测试 团队 先进 行 缺 陷 围 歼 。 为 了 防止 组 件 级 缺陷 出 现在 集成 测试 阶段 ， 还 可 以 先 组 织 小 型 
缺陷 围歼 找 出 功能 级 缺陷 ， 然 后 再 对 产品 进行 集成 。 因 此 ， 缺 陷 围歼 可 以 进一步 分 成 : 

1. 功能 /组 件 缺 陷 围 歼 

2. 集成 缺陷 围歼 
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3. 产品 缺陷 围歼 

为 了 解释 缺陷 围歼 分 类 对 工作 量 的 压缩 ， 假 设 要 举行 有 100 人 参加 、 持 续 2 个 小 时 的 三 次 
缺陷 围歼 。 总 工作 量 是 3 x 2 x 100=600 人 时 。 如 果 各 有 10 人 的 功能 /组 大 隧 国 开 是 二 各 如 
件 团 队 和 集成 测试 团队 可 以 进行 两 轮 小 型 缺陷 围 闭 ， 可 以 发 现 三 分 之 兴 测 读 ， 由 人 们 在 集成 


一 的 缺陷 ， 那 么 根据 以 下 计算 可 以 得 出 压缩 20% 工 作 量 的 结论 : 测试 阶段 的 同一 段 时 间 
A. 两 轮 产品 缺陷 围歼 的 总 工作 量 一 一 400 人 时 扮演 不 同 角色 ， 发 现 有 
B. 两 轮 功能 缺陷 围歼 的 工作 量 (2x2 x 10) 一 一 40 人 时 计划 的 测试 可 能 遗漏 的 
C. 两 轮 集 成 缺陷 围歼 的 工作 量 (2x2 x 10) 一 一 40 人 时 所 有 类 型 的 缺陷 。 





节省 的 工作 量 =600 一 (A+B+C)=600 一 480=120 人 时 ， 也 就 是 20% 

这 只 是 一 种 大 致 计算 ,因为 本 节 前 面 提 到 的 步骤 (步骤 1~6) 所 包含 的 工作 量 也 要 计 入 
每 次 缺陷 围歼 。 不 管 是 功能 级 、 集 成 级 还 是 产品 级 缺陷 围歼 ， 这 些 步骤 对 于 每 轮 缺 陷 围 歼 都 
要 重复 进行 。 


5.6 小 结 


集成 测试 既是 一 种 测试 类 型 也 是 一 个 测试 阶段 。 集 成 测试 在 每 个 组 件 经 过 测试 并 交付 后 
开始 ， 采 用 第 4 章 介绍 的 黑 盒 测试 方法 。 所 有 组 件 都 经 过 测试 并 能 正常 运行 并 不 意味 着 这 些 组 
件 放 到 一 起 经 过 集成 后 还 能 够 正常 运行 。 这 是 很 多 公司 常常 忽视 的 一 个 重要 的 测试 类 型 /阶段 。 
由 于 项 目的 巨大 压力 和 开发 进度 的 拖延 ， 集 成 测试 由 于 处 在 组 件 测试 和 系统 测试 阶段 之 间 而 
被 淡化 。 近 来 一 些 公司 已 经 建立 了 专门 关注 集成 测试 的 测试 团队 ， 这 说 明 长 期 关注 集成 测试 
问题 是 值得 的 。 如 果 恰 当 实施 ， 集 成 测试 会 减少 一 些 在 系统 测试 阶段 会 发 现 的 缺陷 ， 下 一 章 
将 专门 介绍 系统 测试 。 


问题 与 练习 


1. 对 于 以 下 给 出 的 每 种 系统 ， 请 给 出 最 适合 的 集成 测试 类 型 : 
a. 产品 的 版 本 不 断 演 化 ， 每 个 版 本 都 引入 与 其 他 已 有 功能 关系 不 大 的 新 功能 ， 也 就 是 说 ， 
现 有 功能 很 稳定 ， 受 新 加 功能 的 影响 不 大 。 
b. 产品 由 接口 定义 很 清楚 的 组 件 构成 。 因 此 ， 桩 模块 和 驱动 模块 从 一 开始 就 可 以 使 用 。 
c. 产 品 提供 标准 的 数据 库 查 询 和 显示 功能 。 查 询 功能 实现 标准 的 JDBC 接 口 ， 显 示 功 能 提供 
与 多 平台 和 显示 系统 (例如 Windows、Macintosh 等 ) 接口 的 灵活 性 。 
2. 请 考虑 一 个 典型 的 大 学 学 术 活 动 信息 系统 ， 确 定 这 个 系统 用 例 的 各 种 典型 的 代理 、 参 与 者 
和 预期 系统 行为 。 
3. 请 考虑 一 个 产品 ， 其 版 本 不 断 演 化 ， 每 个 版 本 大 约 需要 半年 才能 上 市 。 对 于 每 个 版 本 ， 在 
什么 时 候 进 行 每 种 类 型 的 缺陷 围歼 ? 明确 说 明 作 出 决策 的 各 种 假设 。 
4. 本 章 给 出 的 哪 种 方法 适合 针对 以 下 情况 导出 系统 场景 ; 
a. 客户 说 ,“ 使 用 上 一 个 版 本 时 ， 我 很 难 把 数据 从 老 版 本 中 转移 出 来 
份 数据 ， 不 能 为 折扣 表 加 新 的 列 。” 
b. 产品 部 署 在 FMCG 行 业 和 零售 行业 ， 为 每 个 行业 进行 定制 。 
c. 一 个 测试 工程 师 进行 单元 测试 ， 更 新 缺陷 数据 库 ， 向 组 件 的 编写 者 发 送 电子 邮件 ， 与 他 
们 交换 意见 并 更 新 日 志 。 
5. 请 举 一 个 例子 ， 说 明 集 成 测试 在 什么 场合 可 以 作为 一 种 白 盒 测试 方法 ( 即 需 要 检查 代码 ) 
使 用 ， 什 么 场合 可 以 作为 黑 盒 测试 方法 使 用 。 





不 能 对 客户 主机 备 


6.1 系统 测试 概述 


第 6 章 系统 测试 和 确认 测试 


系统 测试 是 对 完整 集成 后 的 系统 进行 测试 的 阶段 ， 用 来 评价 系统 对 具体 需求 规格 说 明 的 


对 完整 集成 后 的 产 


品 和 解决 方案 进行 测试， 
用 来 评价 系统 对 具体 需 
求 规格 说 明 的 功能 和 非 
功能 的 符合 性 的 测试 叫 
做 系统 测试 。 


符合 性 。 系 统 测试 在 单元 、 组 件 和 和 集成 测试 阶段 之 后 进行 。 

系统 是 完整 的 一 套 经 过 集成 的 组 件 ， 一 起 提供 系统 功能 和 特性 。 
系统 还 可 以 定义 为 一 起 提供 系统 功能 和 解决 方案 的 一 组 硬件 、 软 件 和 
其 他 部 件 。 为 了 测试 整个 系统 ， 需 要 理解 整个 产品 的 整体 行为 。 系 统 
测试 有 助 于 发 现 可 能 难以 直接 与 模块 或 接口 关联 的 缺陷 ， 发 现 产品 整 
体 的 设计 、 体 系 结构 和 代码 的 基础 问题 。 


系统 测试 是 既 测 试 产 品 的 功能 也 测试 非 功 能 的 唯一 测试 阶段 。 对 


于 功能 测试 ， 系 统 测试 关注 实际 客户 对 系统 和 解决 方案 的 使 用 。 系 统 测试 模拟 客户 部 署 。 对 


于 通用 系统 ， 系 统 测试 还 意味 着 测试 产品 不 同 的 业务 纵深 和 应 用 领域 ， 例 如 保险 、 银 行 、 资 
产 管理 等 。 

对 于 非 功 能 方面 ， 系 统 测试 有 不 同 的 测试 类 型 (又 叫做 质量 因素 )， 包 括 : 

1. 性 能 /负载 测试 评价 系统 完成 所 要 求 的 功能 所 用 的 时 间或 响应 时 间 ， 并 与 同一 产品 的 不 
同 版 本 或 不 同 的 竞争 产品 进行 比较 ， 称 为 性 能 测试 。 下 一 章 将 介绍 性 能 测试 。 

2. 可 伸缩 性 测试 通过 大 量 资源 确定 系统 参数 最 大 能 力 的 测试 。 本 章 后 面 将 详细 介绍 这 种 
测试 。 

3. 可 靠 性 测试 评价 系统 或 系统 独立 组 件 在 给 定时 间 段 内 反复 执行 所 要 求 功能 的 测试 。 本 
章 后 面 将 详细 介绍 这 种 测试 。 

4. 压力 测试 使 系统 超过 已 描述 需求 或 系统 资源 (例如 硬盘 空间 、 内 存 、 处 理 器 使 用 ) 的 
限制 ， 确 保 系统 不 会 意外 崩溃 的 测试 。 本 章 后 面 将 详细 介绍 这 种 测试 。 

5. 互 操 作 测试 保证 两 个 或 更 多 产品 能 够 交换 信息 、 使 用 信息 和 密切 协同 的 测试 。 本 章 后 
面 将 详细 介绍 这 种 测试 。 

6. 本 地 化 测试 验证 经 过 本 地 化 的 产品 能 够 以 不 同 的 语言 运行 的 测试 。 第 9 章 将 详细 介绍 
这 种 测试 。 

根据 背景 的 不 同 ， 系 统 测试 的 定义 会 不 断 变化 ， 以 覆盖 更 宽 和 更 高 层 的 问题 。 提 供给 客 
户 的 解决 方案 可 能 是 多 个 产品 的 一 种 集成 。 每 个 产品 又 可 能 是 多 个 组 件 的 一 种 组 合 。 产 品 组 
件 的 提供 商 可 以 把 独立 组 件 作为 系统 进行 组 件 的 系统 测试 。 从 产品 组 织 的 视角 看 ， 集 成 这 些 
组 件 是 子 系统 测试 。 当 由 不 同 组 件 开发 商 提供 的 所 有 组 件 由 产品 组 织 装 配 到 一 起 时 ， 是 作为 
系统 整体 测试 的 。 在 下 一 个 层次 上 ， 解 决 方案 集成 商 将 多 个 来 源 的 产品 进行 组 合 ， 为 客户 提 
供 完整 集成 的 解决 方案 。 把 很 多 产品 放 在 一 起 叫做 系统 ， 对 这 种 集成 解决 方案 进行 系统 测试 。 
图 6-1 描 述 了 不 同 组 织 从 自己 的 视角 和 全 局 视角 进行 系统 测试 。 

系统 测试 根据 通过 详细 体系 结构 /设计 文档 、 模 块 规格 说 明和 系统 需求 规格 说 明 提取 的 信 
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息 编写 的 测试 用 例 为 基础 实施 。 系 统 测试 用 例 在 研究 了 组 件 和 集成 测试 用 例 后 创建 ， 同 时 在 
设计 中 用 来 测试 系统 整体 的 测试 用 例 ， 也 可 以 根据 用 户 故事 、 客 户 讨 论 和 观察 典型 客户 使 用 
来 开发 系统 测试 用 例 。 





测试 阶段 全 局 视角 





图 6-1 系统 测试 的 不 同 视角 


系统 测试 可 以 不 包含 很 多 负面 场景 验证 ， 例 如 测试 不 正确 和 负面 取 值 。 这 是 因为 这 种 负 
面 测试 应 该 已 经 在 组 件 和 集成 测试 中 完成 ， 并 且 可 能 不 反映 真实 客户 的 使 用 。 

系统 测试 可 以 在 单元 、 组 件 和 和 集成 测试 完成 后 进行 ， 这 样 可 以 保证 更 基础 的 程序 逻辑 错 
误 和 缺陷 已 经 被 更 正 。 除 了 验证 产品 的 业务 需求 ， 系 统 测试 还 要 保证 产品 已 经 可 以 转移 到 用 
户 确 认 测试 层次 。 


6.2 实施 系统 测试 的 原因 


系统 测试 通常 由 独立 测试 团队 承担 。 这 种 独立 测试 团队 与 承担 组 件 和 集成 测试 任务 的 团 
队 不 同 。 系 统 测试 团队 一 般 要 向 高 层 经 理 而 不 是 向 项 目 经 理 报告 ， 以 避免 产生 利益 冲突 ， 测 
试 人 员 能 够 自由 进行 系统 测试 。 从 独立 视角 测试 产品 ， 并 结合 客户 视角 ， 使 系统 测试 变 得 唯 
一 、 不 同和 有 效 。 由 独立 团队 实施 系统 测试 可 以 消除 对 产品 的 偏见 ， 通 过 独立 系统 测试 团队 
引入 的 “新 目光 ”有 助 于 发 现 组 件 和 集成 测试 遗漏 的 问题 。 

在 系统 测试 期 间 要 验证 完整 产品 的 行为 ， 包 括 涉及 多 个 模块 、 程 序 和 功能 的 测试 ， 测 试 
完整 产品 的 行为 是 很 关键 的 ， 因 为 很 多 人 错误 地 认为 经 过 单独 测试 的 组 件 放 到 一 起 后 仍然 能 
够 正常 运行 。 

系统 测试 有 助 于 在 其 部 署 中 客户 发 现 缺陷 之 前 ， 尽 可 能 多 地 发 现 缺陷 。 这 是 测试 团队 在 
将 产品 交付 客户 之 前 发 现 各 种 残余 产品 缺陷 的 最 后 机 会 。 

系统 测试 的 目标 是 在 产品 向 客户 发 布 之 前 发 现 产 品级 缺陷 ， 并 建立 信心 。 组 件 和 集成 测 
试 阶段 关注 发 现 缺 陷 。 如 果 系 统 测 试 的 关注 点 也 与 组 件 和 集成 测试 的 关注 点 相同 ， 并 且 发 现 
很 多 缺陷 ， 人 们 就 会 认为 产品 不 稳定 (特别 是 系统 测试 比 组 件 或 集成 测试 更 接近 产品 发 布 ) 。 
与 此 相反 ， 如 果 系 统 测试 没有 发 现 多 少 缺 陷 ， 人 们 又 会 对 系统 测试 阶段 的 有 效 性 和 价值 产生 
怀疑 。 因 此 ， 系 统 测 试 总 是 要 在 产品 发 布 之 前 发 现 缺陷 和 建立 信心 这 两 个 目标 之 间 寻 找平 衡 。 

由 于 系统 测试 是 发 布 前 的 最 后 测试 阶段 ， 又 因为 开发 和 测试 所 需 的 时 间 和 工作 量 问题 以 
及 最 后 时 刻 变 更 所 带 来 的 六 在 风险 ， 并 不 能 修改 代码 中 的 全 部 缺陷 ， 所 以 要 对 这 些 缺 陷 进 行 
影响 分 析 ， 以 降低 发 布 带 缺 陷 产 品 的 风险 。 如 果 客 户 受 这 些 缺 陷 影响 的 风险 很 高 ， 那 么 在 发 
布 前 需要 修改 缺陷 ， 否 则 原封 不 动 地 发 布 产 品 。 对 缺陷 进行 分 析 并 分 类 还 可 以 使 大 家 了 解 产 
品 发 布 后 客户 发 现 缺陷 的 可 能 性 。 这 类 信息 有 助 于 策划 采取 像 回避 和 文档 修改 等 这 样 的 措施 。 
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因此 系统 测试 有 助 于 降低 产品 发 布 的 风险 。 

系统 测试 对 于 其 他 测试 阶段 有 很 强 的 互补 性 。 组 件 和 集成 测试 把 功能 规格 说 明和 设计 作 
为 输入 。 这 类 测试 的 主要 关注 点 是 技术 和 产品 实现 ， 而 客户 场景 和 使 用 模式 是 系统 测试 的 基 
础 。 因 此 ， 系 统 测试 阶段 通过 明确 关注 客户 对 早期 测试 阶段 形成 补充 。 系 统 测试 阶段 有 助 于 
将 关注 点 从 产品 开发 团队 转移 到 客户 及 其 对 产品 的 使 用 上 。 

总 之 ， 实 施 系统 测试 有 以 下 理由 : 

1. 在 测试 中 引入 独立 视角 

2. 在 测试 中 引入 客户 视角 

3. 引入 “新 目光 ”， 发 现 以 前 的 测试 没有 发 现 的 缺陷 

4. 在 一 种 正式 、 完 备 和 现实 的 环境 中 测试 产品 行为 

5. 测试 产品 功能 和 非 功能 方面 的 问题 

6. 建立 对 产品 的 信心 

7. 分 析 和 降低 产品 发 布 的 风险 

8. 保证 已 满足 所 有 需求 ， 产 品 已 具备 交付 确认 测试 的 条 件 。 


6.3 功能 测试 与 非 功 能 测试 


功能 测试 要 测试 产品 的 功能 和 特性 ， 非 功能 测试 要 测试 产品 的 质量 因素 。 系 统 测试 由 功 
能 和 非 功能 测试 验证 构成 。 

功能 测试 验证 系统 的 预期 ， 要 测试 产品 的 特性 或 功能 。 就 需求 满足 而 言 只 有 两 种 情况 一 一 
满足 或 不 满足 。 如 果 需 求 没有 很 好 地 写 清楚 ， 则 对 功能 需求 的 理解 就 可 能 有 多 种 方式 。 因 此 
功能 测试 应 该 采用 描述 产品 行为 的 方式 写 清 预 期 结果 的 文档 。 功 能 测试 由 执行 测试 用 例 的 简 
单方 法 和 步骤 组 成 。 功 能 测试 的 结果 一 般 取 决 于 产品 ， 而 不 是 环境 。 功 能 测试 使 用 预先 确定 
的 一 组 资源 和 配置 ， 但 有 少数 测试 类 型 除外 ， 例 如 第 4 章 所 述 ， 在 兼容 性 测试 中 配置 起 很 大 作 
用 。 功 能 测试 不 仅 需要 深入 的 客户 和 产品 知识 ， 还 要 求 领域 知识 ， 以 开发 不 同 的 测试 用 例 发 
现 严重 缺陷 ， 因 为 功能 测试 的 关注 点 是 找 出 缺陷 。 功 能 测试 中 出 现 的 失效 通常 会 导致 对 代码 
的 修改 ， 以 得 到 正确 的 行为 。 功 能 测试 在 测试 的 所 有 阶段 实施 ， 例 如 单元 测试 、 组 件 测试 、 
集成 测试 和 系统 测试 。 前 面 已 经 提 到 过 ， 系 统 测试 阶段 中 的 功能 测试 (功能 系统 测试 ) 关注 
产品 特性 ， 而 早期 测试 阶段 关注 组 件 特性 和 接口 特性 。 

非 功能 测试 用 于 验证 质量 因素 (例如 可 靠 性 、 可 伸缩 性 等 )。 这 些 质 量 因 素 也 叫做 非 功能 
需求 。 非 功能 测试 要 求 以 定性 和 定量 的 形式 将 预期 结果 写 入 文档 。 非 功能 测试 需要 大 量 资 源 ， 
对 于 不 同 的 配置 和 资源 ， 结 果 也 是 不 同 的 。 非 功 能 测试 是 非常 复杂 的 ， 需 要 收集 和 分 析 大 量 数 
据 。 非 功能 测试 的 关注 点 是 评判 产品 ， 而 不 是 发 现 缺 陷 。 非 功能 测试 的 测试 用 例 包括 明确 的 通 
过 /不 通过 评判 准则 。 但 是 ， 测 试 结果 既 要 依据 通过 /不 通过 定义 ， 也 要 依据 运行 测试 的 经 历 。 

除了 验证 通过 或 不 通过 状态 ， 非 功能 测试 结果 还 受 执行 测试 所 用 工作 量 和 执行 测试 期 间 
所 遇 问 题 的 制约 。 例 如 ， 如 果 经 过 10 轮 和 欠 代 性 能 测试 满足 了 通过 准则 ， 那 么 这 个 过 程 就 不 够 
好 ， 测 试 结果 就 不 能 认为 是 通过 。 产 品 或 非 功 能 测试 过 程 都 需要 修改 。 

非 功能 测试 要 求 理 解 产 品行 为 、 设 计 和 体系 结构 ， 还 要 了 解 竞争 产品 的 情况 。 由 于 需要 
仔细 分 析 大 量 生 成 的 数据 ， 所 以 需要 分 析 和 统计 技能 。 没 有 通过 非 功能 测试 对 设计 和 体系 结 
构 的 影响 比 对 产品 代码 的 影响 大 得 多 。 由 于 非 功能 测试 是 不 可 重复 的 ， 需 要 稳定 的 产品 ， 因 
此 要 在 系统 测试 阶段 实施 。 
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表 6-1 归 纳 了 以 上 讨论 的 要 点 。 
表 6-1 功能 测试 与 非 功 能 测试 的 比较 








测试 角度 功能 测试 非 功 能 测试 
包含 产品 特性 和 功能 质量 要 素 
测试 产品 行为 行为 与 经 历 
得 出 结论 用 以 检查 预期 结果 的 简单 步 又 采集 并 分 析 大 量 数据 
影响 结果 的 因素 产品 实现 产品 实现 、 资 源 和 配置 
测试 关注 点 缺陷 检测 产品 的 质量 参数 
所 需 知识 产品 和 领域 产品 、 领 域 、 设 计 、 体 系 结构 、 统 计 技能 
未 通过 的 常见 原因 代码 体系 结构 、 设 计 和 代码 
测试 阶段 单元 、 组 件 、 集 成 、 系 统 系统 
测试 用 例 可 重复 性 可 重复 很 多 次 只 在 未 通过 时 和 针对 不 同 配置 时 重复 
配置 针对 一 组 测试 用 例 一 次 建立 针对 每 个 测试 用 例 改变 配置 





表 6-1 给 出 的 一 些 要 点 像 是 主观 判断 。 例 如 ， 功 能 测试 也 需要 设计 和 体系 结构 知识 。 因 此 ， 
表 6-1 给 出 的 要 点 仅 供 参考 ， 不 是 严格 的 规则 。 

由 于 系统 测试 阶段 要 测试 功能 和 非 功 能 内 容 ， 因 此 可 能 会 提出 的 问题 是 “这 两 类 测试 在 
系统 测试 中 测试 用 例 的 合适 比例 是 多 少 ? ”由 于 功能 测试 从 单元 测试 阶段 开始 就 是 测试 的 关 
注 点 ， 而 非 功能 测试 只 有 到 系统 测试 阶段 才 进 行 ， 因 此 最 好 将 很 大 一 部 分 系统 测试 的 工作 量 
放 在 非 功能 方面 。 非 功能 和 功能 测试 三 七 开 应 该 是 比较 理想 的 情况 ， 五 五 开 也 是 不 错 的 起 点 。 
但 是 ， 这 只 是 一 种 建议 ， 合 适 的 比例 更 多 地 取决 于 背景 情况 、 发 布 类 型 、 需 求 和 产品 。 


6.4 功能 系统 测试 


正如 前 面 解释 过 的 ， 功 能 测试 在 不 同 的 测试 阶段 实施 ， 关 注 点 是 产品 级 特性 。 由 于 功能 
测试 在 不 同 测试 阶段 实施 ， 因 此 会 出 现 两 个 明显 的 问题 。 一 是 重复 ， 二 是 灰色 区 域 。 重 复 是 
指 多 次 实施 相同 的 测试 ， 灰 色 区 域 是 指 在 所 有 阶段 都 遗漏 的 测试 。 各 阶段 之 间 存 在 少量 的 重 
复 是 不 可 避免 的 ， 因 为 参与 的 团队 不 同 。 在 编写 系统 测试 用 例 之 前 进行 交叉 评审 〈 邀 请 以 前 
测试 阶段 的 团队 参与 评审 ) ， 检 查 以 前 阶段 的 测试 用 例 ， 有 助 于 最 大 限度 地 降低 重复 率 。 有 少 
量 的 重复 是 明智 的 ， 来 自 不 同 团 队 的 不 同人 员 以 不 同 的 视角 进行 测试 会 发 现 新 的 缺陷 。 

出 现 测试 的 灰色 区 域 是 因为 缺少 产品 知识 、 缺 少 客户 使 用 知识 、 缺 少 测试 团队 间 的 协同 。 
这 种 测试 灰色 区 域 使 缺陷 漏网 ， 并 影响 用 户 的 使 用 。 实 施 某 个 具体 阶段 测试 的 团队 可 能 假设 
某 个 特定 测试 会 在 下 个 阶段 实施 。 这 是 出 现 这 种 灰色 区 域 的 一 个 原因 。 在 这 种 情况 下 ， 需 要 
在 尽 可 能 早 的 阶段 制订 明确 的 团队 测试 交互 指南 。 将 测试 用 例 从 较 后 阶段 移 到 较 前 阶段 ， 比 
从 较 前 阶段 推迟 到 较 后 阶段 好 ， 因 为 测试 的 目的 就 是 尽 可 能 早 地 发 现 缺 陷 。 这 些 工作 要 在 当 
前 阶段 的 所 有 测试 工作 完成 后 进行 ， 不 能 弱化 当前 阶段 的 测试 。 

实施 系统 功能 测试 有 很 多 方法 ， 功 能 测试 产品 级 测试 用 例 的 导出 也 有 很 多 方法 ， 以 下 给 
出 的 是 一 些 常 见方 法 。 

1. 设计 /体系 结构 验证 

2. 业务 垂直 测试 

3. 部 署 测 试 

4. Beta 测 试 
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5. 符合 性 的 认证 、 标 准 和 测试 
6.4.1 设计 /体系 结构 验证 


在 这 种 功能 测试 方法 中 ， 要 对 照 设计 和 体系 结构 开发 和 检查 测试 用 例 ， 检 查 这 些 测试 用 
例 是 否 实际 的 产品 级 测试 用 例 。 把 这 一 点 与 集成 测试 作 一 下 比较 ， 集 成 测试 的 测试 用 例 是 对 
照 接 口 进行 创建 的 ， 而 系统 级 测试 用 例 首先 创建 和 对 照 设计 和 体系 结构 验证 ， 检 查 其 是 产品 
级 还 是 组 件 级 测试 用 例 。 集 成 测试 用 例 关注 模块 或 组 件 之 间 的 交互 ， 而 功能 系统 测试 关注 整 
个 产品 的 行为 。 这 样 做 的 一 种 额外 好 处 是 可 保证 产品 实现 的 完备 性 。 这 种 技术 有 助 于 确认 根 
据 客户 场景 编写 的 产品 特性 ， 并 用 产品 实现 进行 验证 。 如 果 有 对 应 客户 场景 的 测试 用 例 采 用 
这 种 技术 没有 通过 确认 ， 那 么 就 将 其 转移 到 合适 的 组 件 或 集成 测试 阶段 。 由 于 功能 测试 要 在 
各 个 测试 阶段 实施 ， 拒 绝 这 种 测试 用 例 并 将 其 转 到 较 早 测试 阶段 以 尽早 捕获 缺陷 ， 避 免 在 后 
期 阶段 造成 重大 问题 是 很 重要 的 。 以 下 给 出 了 一 些 拒绝 功能 系统 测试 测试 用 例 的 建议 : 

1. 这 个 测试 用 例 关 注 的 是 代码 逻辑 、 数 据 结 构 和 产品 单元 吗 ? (如 果 是 ， 则 应 属于 单元 
测试 。) 

2. 这 个 测试 用 例 在 任何 组 件 的 功能 规格 说 明 中 描述 了 吗 ? 〈 如 果 是 ， 则 应 属于 组 件 测 试 。) 

3. 这 个 测试 用 例 在 集成 测试 的 设计 和 体系 结构 规格 说 明 中 描述 了 吗 ? (如 果 是 ， 则 应 属 
于 集成 测试 。) 

4. 这 个 测试 用 例 关注 的 是 不 能 被 客户 看 到 的 产品 实现 吗 ? 〈 它 关注 的 是 实现 ， 应 该 属于 
单元 测试 或 组 件 测试 ， 或 集成 测试 。) 

5. 这 个 测试 用 例 恰当 地 综合 了 客户 使 用 和 产品 实现 了 吗 ? (客户 使 用 是 系统 测试 的 前 提 ,) 


6.4.2 业务 垂直 测试 


像 工 作 流 自动 化 系统 这 样 的 通用 产品 可 以 供 不 同 的 商业 公司 和 服务 公司 使 用 。 使 用 和 测 
试 针对 不 同业 务 纵深 的 产品 ， 例 如 保险 、 银 行 、 资 产 管 理 等 ， 并 验证 业务 运作 和 使 用 ， 叫 做 
“业务 垂直 测试 ”。 对 于 这 种 类 型 的 测试 ， 要 改变 产品 中 的 规程 以 适应 业务 过 程 。 例 如 ， 在 贷 
款 处 理 中 ， 贷 款 首先 由 负责 人 认可 ， 然 后 转 给 银行 工作 人 员 。 在 理赔 处 理 中 ， 索 赔 申请 首先 
由 工作 人 员 进 行 整理 ， 然 后 转 给 负责 人 认可 。 产 品 要 创建 像 工作 人 员 和 负责 人 这 样 的 用 户 对 
象 ， 然 后 为 其 分 配 操 作 。 这 是 定制 产品 以 适应 业务 的 一 种 方法 。 有 些 操作 只 能 由 某 些 用 户 对 
象 完成 ， 这 叫做 基于 角色 的 操作 。 重 要 的 是 产品 要 理解 业务 过 程 ， 把 定制 作为 一 个 特性 ， 以 
便 不 同 的 业务 纵深 可 以 使 用 产品 。 在 定制 特性 的 帮助 下 ， 可 以 改变 系统 的 一 般 工作 流 ， 以 适 
应 特殊 的 业务 纵深 。 

另 一 个 重要 的 方面 叫做 术语 。 为 了 解释 这 个 概念 ， 先 举 一 个 电子 邮件 的 例子 。 在 保险 行 
业内 ， 发 送 的 电子 邮件 可 能 叫做 索赔 申请 ， 而 发 送 给 贷款 处 理 系统 中 的 电子 邮件 却 要 叫做 贷 
款 申 请 。 用 户 会 很 熟悉 这 种 术语 ， 而 不 是 通用 的 “电子 邮件 ”这 个 词 。 用 户 接口 应 该 反映 出 
这 种 术语 ， 而 不 是 使 用 通用 术语 电子 邮件 ， 否 则 会 削弱 产品 的 针对 性 ， 用 户 也 可 能 难以 清楚 
地 理解 。 发 送 给 血库 服务 公司 的 电子 邮件 不 能 以 与 员工 之 间 内 部 传递 的 电子 邮件 一 样 的 优先 
级 处 理 。 产 品 要 通过 发 送 者 的 背景 信息 和 邮件 内 容 做 出 这 类 有 差别 的 处 理 。 有 些 电子 邮件 或 
电话 呼叫 需要 由 产品 进行 跟踪 ， 以 检查 是 否 达到 所 约定 的 服务 水 平 (SLAS)。 例 如 ， 发 送 给 
血库 服务 公司 的 电子 邮件 需要 以 最 快 的 速度 响应 。 有 些 电子 邮件 甚至 可 以 根据 电子 邮件 管理 
系统 确定 的 规则 自动 应 答 ， 以 达到 所 约定 的 服务 水 平 。 因 此 产品 的 术语 特性 可 以 把 电子 邮件 
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恰当 地 叫做 索赔 或 交易 ， 并 且 可 以 与 背景 信息 和 属性 关联 起 来 ， 使 得 特定 的 业务 纵深 领域 能 
够 更 好 地 使 用 。 

与 业务 垂直 测试 有 关 的 另 一 个 问题 是 联合 体 。 并 不 是 业务 纵深 所 需 的 所 有 工作 都 由 产品 
开发 组 织 完成 。 解 决 方案 集成 商 、 服 务 提供 商会 向 产品 组 织 支付 产品 使 用 许可 费用 ， 并 以 自 
己 的 名 称 和 形象 销售 产品 和 解决 方案 。 在 这 种 情况 下 ， 产 品名 称 、 公 司 名 称 、 技 术 名 称 和 版 
权 都 属于 解决 方案 提供 商 ， 产 品 组 织 会 改变 产品 的 名 称 。 产 品 应 该 为 这 类 联合 体 提 供 特 性 ， 
也 要 作为 业务 垂直 测试 的 一 部 分 。 

业务 垂直 测试 可 以 用 两 种 方法 进行 ， 即 模拟 和 复制 。 在 业务 垂直 测试 模拟 中 ， 客 户 或 测 
试 人 员 要 测试 需求 和 业务 流 。 在 复制 中 ， 要 获取 客户 数据 和 过 程 ， 对 产品 进行 完全 定制 和 测 
试 ， 并 把 定制 后 经 过 测试 的 产品 发 布 给 客户 。 

在 讨论 集成 测试 的 那 一 章 已 经 介绍 过 ， 要 通过 场景 测试 测试 业务 纵深 。 场 景 测试 只 是 进 
化 场景 和 思路 的 一 种 方法 ， 并 不 是 穷尽 的 。 场 景 测试 更 多 地 是 从 接口 及 其 交互 的 视角 实施 。 
通过 集成 测试 创建 一 些 业务 纵深 场景 可 确保 系统 测试 阶段 进展 更 迅速 ， 采 用 诸如 以 上 所 描述 
的 定制 、 术 语 和 联合 体 ， 在 实际 客户 环境 中 对 业务 纵深 领域 进行 完备 的 测试 。 


6.4.3 部 署 测试 


系统 测试 是 产品 交付 前 的 最 后 阶段 。 到 这 个 时 候 应 该 知道 预期 客户 及 其 配置 ， 有 时 产品 
公司 还 会 做 出 销售 的 承诺 。 因 此 ， 系 统 测试 是 针对 这 些 正 在 等 待产 品 发 布 的 客户 进行 测试 的 
恰当 时 候 。 特 定 产品 版 本 是 短期 成 功 还 是 失败 ， 主 要 根据 这 些 客户 需求 的 满足 程度 判断 。 这 
种 在 产品 开发 组 织 内 进行 以 确保 满足 客户 部 署 需求 的 (模拟 ) 部 署 测试 叫做 离 场 部 署 。 

部 署 测试 也 通过 使 用 客户 场地 中 已 有 的 资源 和 环境 在 产品 发 布 后 ， 由 产品 开发 组 织 和 
将 使 用 该 产品 的 组 织 联 合 实施 ， 叫 做 现场 部 署 。 尽 管 现 场 部 署 不 在 系统 测试 阶段 实施 ， 但 
是 为 了 保持 内 容 的 完整 性 还 是 在 这 里 讨论 这 个 问题 。 通 常 由 系统 测试 团队 完成 现场 部 署 测 
试 。 现 场 部 署 测试 被 认为 是 将 在 本 章 后 面 介绍 的 确认 测试 的 一 部 分 ， 是 离 场 部 署 测试 的 一 
种 扩展 。 

现场 部 署 测 试 分 两 个 阶段 进行 。 第 一 个 阶段 (Stage 1) 要 采集 实际 系统 的 真实 数据 ， 建 
立 类 似 的 机 器 和 配置 镜像 环境 ， 在 镜像 部 署 机 器 上 重新 执行 用 户 操 作 。 这 样 可 以 了 解 增强 或 
类 似 的 产品 是 否 能 提供 现 有 功能 ， 且 不 影响 用 户 。 这 样 可 以 降低 产品 不 能 满足 现 有 功能 的 风 
险 ， 因 为 部 署 没 有 经 过 充分 测试 的 产品 可 能 给 组 织造 成 重大 业务 损失 。 有 些 部 署 测试 采用 条 
能 记录 器 记录 在 真实 系统 中 发 生 的 事务 ， 并 在 镜像 系统 上 做 这 些 操作 ， 然 后 再 将 结果 与 真实 
系统 进行 比较 。 记 录 器 的 目标 是 帮助 镜像 系统 和 真实 系统 在 业务 事务 上 保持 一 致 。 在 第 二 阶 
段 (Stage 2) ， 在 成 功 完成 第 一 阶段 工作 的 基础 上 ， 在 镜像 系统 上 建立 一 个 运行 新 产品 的 正式 
系统 。 采 用 定期 备份 和 其 他 方法 记录 从 镜像 系统 正式 运行 以 来 所 增加 的 事务 。 在 第 一 阶段 使 
用 过 的 记录 器 在 第 二 阶段 也 可 以 继续 使 用 。 但 是 ， 建 议 采 用 不 同 的 方法 记录 增加 的 事务 ， 因 
为 还 会 由 于 记录 器 的 缘故 产生 失效 。 这 个 阶段 有 助 于 避免 出 现 重 大 失效 ， 因 为 有 些 失效 只 
在 运行 一 段 时 间 后 才能 观察 得 到 。 在 这 个 阶段 ， 以 前 使 用 的 实际 系统 和 镜像 系统 正式 运行 以 
来 记录 的 事务 都 要 保留 起 来 ， 如 果 在 这 个 阶段 出 现 重 大 失效 ， 要 能 够 回 到 老 系统 上 。 如 果 在 
这 个 部 署 第 二 阶段 有 一 段 时 间 〈 比 方 说 一 个 月 ) 没有 发 现 失效 ， 那 么 就 可 以 认为 现场 部 署 是 
成 功 的 ， 并 用 新 系统 替代 老 的 实际 系统 。 图 6-2 给 出 了 部 署 测试 的 第 1 阶段 和 第 2 阶段 。 

在 图 6-2 的 第 1 阶段 中 ， 可 以 看 到 记录 器 插 在 用 户 和 实际 系统 之 间 记 录 所 有 事务 。 通 过 实 
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际 系统 记录 的 所 有 事务 ， 事 后 都 要 在 测试 工程 师 的 监视 下 (用 虚线 表示 ) 在 被 测 产 品 上 回放 。 
在 第 2 阶段 ， 测 试 工程 师 采 用 记录 器 和 其 他 方法 记录 所 有 事务 ， 并 在 老 的 实际 系统 上 回放 (用 
虚线 表示 )。 





图 6-2 部 署 测 试 的 阶段 





6.4.4 贝塔 测试 


开发 产品 需要 大 量 工作 和 时 间 。 推 迟 产 品 发 布 时 间 、 产 品 不 能 满足 用 户 需求 是 很 常见 的 
事情 。 产 品 在 交付 之 后 被 客户 拒绝 对 组 织 意味 着 重大 损失 。 产 品 不 能 满足 客户 需求 有 很 多 原 
因 ， 包 括 : 

1. 产品 有 隐 式 和 显 式 需求 。 产 品 没有 满足 隐 式 需求 (例如 易 用 性 ) 可 能 导致 客户 拒绝 。 

2. 由 于 产品 开发 需要 大 量 时 间 ， 到 交付 产品 时 ， 一 些 在 项 目 初期 给 出 的 需求 可 能 已 经 作 
废 或 改变 。 客 户 的 业务 需求 不 断 变化 ， 没 有 在 产品 中 反映 这 些 变化 造成 以 后 变 得 过 时 。 

3. 需求 是 高 层 描 述 ， 相 当 模 糊 。 尽 管 认 识 到 模糊 区 域 但 是 却 没有 和 客户 一 起 解决 ， 导 致 
对 产品 的 拒绝 。 

4. 对 需求 的 理解 可 能 是 正确 的 ， 但 是 实现 会 出 错 。 这 可 能 意味 着 重新 设计 和 编码 ， 以 满 
足 客户 所 要 求 的 实现 方面 的 特性 。 如 果 不 能 及 时 做 到 这 一 点 就 可 能 导致 产品 被 拒绝 ，。 

5. 可 使 用 性 和 文档 方面 的 不 足 使 客户 很 难 使 用 产品 ， 也 可 能 导致 产品 被 拒绝 。 

以 上 给 出 的 只 是 一 部 分 原因 ， 可 能 还 有 更 多 的 产品 拒绝 原因 。 为 了 达到 系统 测试 的 目标 ， 
即 降低 风险 ， 需 要 定期 搜集 对 产品 的 反馈 信息 。 一 种 机 制 可 以 是 把 待 测 产品 交 给 客户 收集 反 
馈 意见 。 这 叫做 贝塔 测试 。 贝 塔 测 试 由 客户 完成 ， 并 由 产品 开发 组 织 提供 帮助 。 在 整个 贝塔 
测试 实施 期 间 ， 要 根据 具体 进度 安排 策划 并 执行 各 种 活动 ， 叫 做 贝塔 程序 。 贝 塔 程序 所 包含 
的 一 些 活动 包括 : 

1. 采集 客户 及 其 贝塔 测试 需求 列表 ， 以 及 他 们 对 产品 的 期 望 。 

2. 写 出 贝塔 程序 进度 安排 并 通知 客户 。 并 不 是 列表 中 的 所 有 客户 都 要 有 统一 的 开始 时 间 
和 结束 时 间 。 贝 塔 程序 的 结束 时 间 应 该 在 产品 发 布 之 前 ， 以 便 在 贝塔 测试 中 发 现 的 问题 在 发 
布 前 能 够 得 到 修改 。 

3. 提前 提供 一 些 文档 供 客 户 阅 读 ， 并 就 产品 的 使 用 对 客户 进行 培训 。 

4. 测试 产品 ， 确 保 产品 满足 “贝塔 测试 进入 条 件 。” 客 户 和 提供 商 的 产品 开发 /管理 小 组 
一 起 确定 一 组 贝塔 测试 进入 和 退出 准则 。 

5. 将 (具有 一 定 质量 水 平 的 ) 贝塔 版 产品 提供 给 客户 ， 让 他 们 进行 自己 的 测试 。 

6. 定期 收集 客户 的 反馈 信息 ， 对 要 修改 的 缺陷 指派 优先 级 。 
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7. 通过 修改 产品 和 文档 回应 客户 的 反馈 ， 及 时 与 客户 形成 沟通 闭环 。 

8. 分 析 并 确认 贝塔 测试 是 否 满足 退出 条 件 。 

9. 向 客户 通报 进展 和 采取 的 措施 ， 正 式 结束 贝塔 程序 。 

10. 在 产品 中 合并 恰当 的 修改 。 

决定 产品 贝塔 测试 的 进入 准则 和 贝塔 测试 时 间 安 排 需要 做 出 一 些 相互 矛盾 的 选择 。 提 供 
产品 太 早 ， 不 充分 的 内 部 测试 会 使 客户 不 满意 ， 会 对 产品 的 质量 产生 不 好 的 印象 。 提 供 产品 
太 晚 ， 意 味 着 贝塔 缺陷 修改 时 间 太 短 ， 不 能 得 到 贝塔 测试 的 目的 。 集 成 测试 的 后 期 和 系统 测 
试 的 前 期 开展 贝塔 测试 是 不 错 的 时 机 。 

客户 有 可 能 在 启动 贝塔 测试 后 没有 能 够 继续 下 去 ， 或 一 直 被 动 进行 ， 没 有 充分 使 用 产品 
并 提供 反馈 。 从 客户 的 观点 看 ， 贝 塔 测试 往往 只 是 其 很 多 活动 之 “， 可 能 并 没有 很 高 的 优先 
级 。 需 要 经 常 与 客户 保持 沟通 ， 推 动 他 们 使 用 产品 ， 只 要 他 们 在 使 用 产品 上 遇 到 问题 马上 提 
供 帮助 。 应 该 让 客户 看 到 参加 贝塔 测试 的 好 处 。 他 们 可 以 很 早 接触 新 技术 ， 贝 塔 测试 客户 是 
采用 新 技术 的 先锋 的 形象 会 对 客户 产生 很 深 的 印象 。 一 旦 客户 把 贝塔 测试 看 作 是 双赢 的 活动 ， 
既 对 提供 商 有 好 处 ， 也 对 自己 有 好 处 ， 而 不 是 只 看 作 产品 的 试验 床 ， 他 们 参与 测试 的 积极 性 
就 会 提高 。 在 贝塔 测试 中 报告 的 缺陷 应 该 指定 与 正常 支持 电话 处 理 相同 的 优先 级 ， 唯 一 不 同 
的 是 产品 开发 /管理 部 门 可 能 与 贝塔 测试 客户 有 更 直接 的 交互 。 不 能 达到 贝塔 测试 目标 或 及 时 
修改 错误 ， 意 味 着 有 些 客户 会 拒绝 产品 。 因 此 ， 一 旦 报告 了 问题 要 尽快 把 经 过 修改 的 产品 提 
供给 客户 ， 并 一 定 保证 所 作 的 修改 满足 客户 的 需求 。 

贝塔 测试 的 一 个 挑战 是 选择 合适 的 测试 客户 量 。 如 果 数 量 过 少 ， 则 产品 可 能 没有 经 过 中 
够 多 样 化 的 测试 场景 和 测试 用 例 。 如 果 数 量 过 多 ， 则 工程 组 织 可 能 难以 及 时 解决 所 报告 的 问 
题 。 因 此 ， 贝 塔 测试 的 客户 数量 需要 在 产品 使 用 场景 的 多 样 性 和 有 效 处 理 其 报告 问题 的 实际 
管理 能 力 上 仔细 贰 酌 。 

最 后 ， 贝 塔 测试 的 成 功 严重 依赖 于 贝塔 测试 客户 充分 了 解 产品 中 会 存在 缺陷 ， 以 各 种 方 
式 使 用 产品 的 意愿 。 这 可 不 是 一 件 容易 的 工作 。 正 如 前 面 已 经 介绍 过 的 ， 必 须 鼓励 贝塔 测试 
客户 看 到 自己 可 以 得 到 的 好 处 。 只 有 当 客 户 积 极地 在 产品 进化 过 程 中 充当 可 信赖 伙伴 ， 他 们 
才 会 参与 贝塔 测试 。 


6.4.5 符合 性 的 认证 、 标 准 和 测试 


产品 需要 通过 主流 硬件 、 操 作 系统 、 数 据 库 和 其 他 基础 设施 构件 进行 验证 。 这 叫做 确认 
测试 。 不 能 在 主流 硬件 、 软 件 或 设备 上 运行 的 产品 ， 可 能 不 适合 当前 和 将 来 的 使 用 。 产 品 的 
销售 取决 于 其 是 否 经 过 主流 系统 的 验证 。 产 品 必 须 在 主流 系统 上 运行 ， 因 为 客户 已 经 在 主流 
系统 上 投入 很 多 。 不 仅 产品 要 能 够 在 这 些 主流 系统 的 当前 版 本 上 运行 和 共存 ， 而 且 产 品 组 织 
还 应 该 以 路 线 图 的 方式 作出 文字 承诺 ， 继 续 开发 能 在 主流 系统 未 来 版 本 上 运行 的 产品 。 对 于 
这 种 类 型 的 测试 ， 产 品 开发 组 织 、 客 户 和 验证 产品 的 认证 代理 都 同样 感 兴趣 ， 但 是 对 确认 负 
责任 的 还 是 产品 开发 组 织 。 确 认 代理 通过 开发 自动 测试 包 帮助 产品 开发 组 织 。 产 品 开发 组 织 
运行 这 些 确认 测试 包 ， 解 决 产品 中 的 问题 ， 保 证 测试 的 成 功 。 一 旦 测试 运行 成 功 ， 测 试 结果 
会 交 给 确认 代理 ， 由 确认 代理 出 具 产 品 的 确认 。 确 认 代理 可 能 会 重新 运行 测试 包 以 验证 测试 
结果 ， 在 这 种 情况 下 ， 被 测 产品 应 该 与 测试 结果 一 并 提交 。 

每 种 技术 领域 都 有 很 多 标准 ， 产 品 可 能 需要 符合 这 些 标准 。 符 合 这 些 标准 使 得 产品 能 
很 容易 地 与 其 他 产品 交互 ， 这 一 点 非常 重要 。 这 还 有 助 于 客户 不 再 过 于 担心 产品 与 其 他 产品 
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的 未 来 兼容 性 。 每 个 技术 领域 都 有 很 多 标准 ， 产 品 开发 组 织 要 在 产品 生存 周期 的 一 开始 就 要 
选择 要 实现 的 标准 。 可 能 很 难 遵循 所 有 标准 ， 有 时 可 能 由 于 没有 实现 一 定 的 标准 而 产生 一 些 
非 功 能 问题 (例如 性 能 影响 ) 。 标 准 也 会 进化 〈 例 如 ， 网 络 中 的 Ipv6 和 移动 技术 的 3G) ， 在 实 
现 开始 或 进行 过 程 中 ， 标 准 细节 可 能 才 会 制定 出 来 。 有 些 标 准 由 开放 社区 负责 维护 ， 并 作为 
公共 领域 标准 发 表 (例如 Open LDAP 标 准 )。 可 以 免费 使 用 与 这 些 开放 标准 相关 的 工具 验证 标 
准 的 实现 。 保 证 这 些 标准 被 恰当 实现 的 测试 叫做 标准 测试 。 产 品 完 成 一 些 标准 的 测试 后 ， 要 
写 入 提供 给 客户 的 发 布 文档 中 ， 以 便 让 他 们 了 解 产品 实现 了 哪些 标准 。 

产品 会 有 很 多 约定 和 法 律 方面 的 要 求 。 不 满足 这 些 要 求 会 导致 业务 损失 ， 引 起 针对 开发 
组 织 及 其 高 层 管理 的 法 律 行动 。 这 类 需求 的 一 部 分 可 能 是 合同 义务 ， 有 些 则 是 法 律 要 求 。 不 
能 满足 这 类 需求 会 严重 限制 产品 市 场 。 例 如 ， 如 果 不 满足 可 使 用 性 指南 (《508 可 获得 性 指南 》) 
就 不 能 参加 美国 政府 组 织 的 竞标 。 对 于 产品 针对 合同 、 法 律 和 法 规 符 合 性 的 测试 是 系统 测试 
团队 的 一 个 关键 活动 。 以 下 是 符合 性 测试 的 一 些 例子 : 

。 符 合 FDA 食品 和 药品 管理 的 这 个 法 案 要 求 对 像 化 妆 品 、 药 品 和 医疗 科学 方面 的 产品 进 

行 充分 测试 ， 还 要 求 保存 每 个 测试 周期 的 所 有 测试 报告 、 全 套 测 试用 例 、 执 行 记 录 文 

档 ， 以 及 监管 部 门 的 批准 ， 供 FDA 检 查 测 试 的 充分 性 。 

。508 可 获得 性 指南 这 套 可 获得 性 指南 要 求 产 品 满足 残疾 人 士 的 某 些 需 要 ， 要 求 残疾 人 

能 够 像 非 残 疾 人 一 样 地 使 用 产品 。 

。SOX (Sarbanes-Oxley 法 案 ) 这 个 法 案 要 求 审 计 产 品 和 服务 ， 以 防止 组 织 中 的 经 济 诈 

骗 。 要 求 软 件 检查 所 有 事务 ， 并 列 出 怀疑 有 问题 的 事务 进行 分 析 。 这 个 法 案 的 测试 者 

要 帮助 最 高 管理 者 保存 有 关 经 济 事务 及 其 确认 的 记录 。 

。OFAC 与 爱国 法 这 个 法 案 要 求 审计 银行 申请 事务 ， 以 免 资金 被 臣 怖 分 子 利 用 。 

认证 、 标 准 和 符合 性 测试 这 些 词 可 以 互 换 使 用 。 术 语 的 混用 不 会 产生 问题 ， 只 要 满足 其 
测试 目标 。 例 如 ， 帮 助 组 件 满足 标准 要 求 的 认证 代理 既 可 以 叫做 认证 测试 ， 也 可 以 叫做 标准 
测试 (例如 Open LDAP 既 是 认证 也 是 标准 )。 | 


6.5 非 功能 系统 测试 


在 6.3 节 中 ， 已 经 介绍 了 非 功 能 测试 与 功能 测试 之 间 的 差别 。 非 功能 测试 遵循 的 过 程 与 功 
能 测试 的 过 程 类 似 ， 只 是 在 复杂 性 、 所 需 知识 、 所 需 的 工作 量 和 测试 用 例 重复 次 数 等 方面 有 
所 不 同 。 由 于 重复 执行 非 功能 测试 用 例 需 要 更 多 的 时 间 、 工 作 量 和 资源 ， 因 此 , 非 功能 测试 过 
程 比 功能 测试 有 更 强 的 健壮 性 ， 以 尽 可 能 减少 重复 。 这 要 求 有 更 严格 的 进入 /退出 准则 ， 更 好 
的 策划 ， 并 事先 准备 好 测试 用 配置 和 数据 。 


6.5.1 设置 配置 


所 有 类 型 的 非 功能 测试 都 要 面临 设置 配置 这 个 最 大 的 挑战 。 有 两 种 办 法 可 以 完成 设置 ， 
_ 种 是 模拟 环境 ， 一 种 是 真实 客户 环境 。 由 于 客户 类 型 、 可 以 使 用 的 资源 、 建 立 环境 所 需 的 
时 间 等 很 不 相同 ， 建 立 完全 真实 的 场景 是 很 困难 的 。 即 使 使 用 真实 客户 环境 对 于 这 种 测试 的 
成 功 是 至 关 重 要 的 因素 ， 但 由 于 多 种 复杂 性 ， 在 难以 得 到 实际 配置 的 场合 ， 还 是 将 模拟 环境 
用 于 非 功能 测试 。 设 置 配置 是 一 个 挑战 ， 这 是 因为 以 下 原因 

1. 由 于 环境 具有 高 度 多 样 性 和 客户 的 不 同 ， 很 难 预 测 客户 通常 将 使 用 什么 类 型 的 环境 。 

2. 通过 配置 的 不 同 排列 组 合 测试 产品 效率 可 能 很 低 ， 因 为 客户 可 能 不 会 使 用 相同 的 环境 
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组 合 ， 测 试 多 种 组 合 很 耗费 人 力 和 时 间 。 不 仅 如 此 ， 由 于 配置 的 多 样 性 ， 要 测试 的 配置 会 出 
现 组 合 爆 炸 。 

3. 建立 这 种 环境 的 成 本 相当 高 。 

4. 环境 的 有 些 组 件 可 能 来 自 竞争 公司 的 产品 ， 可 能 很 难得 到 。 

5. 人 员 可 能 没有 建立 环境 的 技能 。 

6. 很 难 准确 预测 客户 可 能 使 用 的 数据 特性 。 由 于 客户 所 用 数据 的 保密 性 ， 这 样 的 信息 不 
会 告诉 测试 团队 。 

为 了 建立 “接近 真实 ”的 环境 ， 需 要 事先 收集 有 关 客 户 硬件 设置 、 部 署 信息 和 测试 数据 
的 详细 信息 。 测 试 数据 要 根据 所 给 出 的 样本 数据 构建 。 如 果 是 新 产品 ， 需 要 采集 类 似 或 相关 
产品 的 信息 。 这 类 输入 有 助 于 建立 接近 客户 环境 的 测试 环境 ， 以 便 更 准确 地 验证 系统 的 各 种 
质量 特性 。 


6.5.2 提出 进入 与 退出 准则 


提出 进入 和 退出 准则 是 非 功能 测试 的 又 一 个 关键 要 素 。 表 6-2 给 出 了 针对 一 组 参数 和 各 种 
类 型 的 非 功能 测试 如 何 确定 进入 和 退出 准则 的 一 些 例子 。 满 足 进入 准则 是 前 一 测试 阶段 ( 即 
集成 测试 阶段 ) 的 责任 ， 或 是 由 系统 测试 团队 在 接受 产品 进行 系统 测试 前 执行 的 演练 测试 的 
目标 。 


表 6-2 非 功能 测试 的 典型 进入 与 退出 准则 


位 本 这 入 闪 
| 


最 大 限制 产品 可 扩展 到 1 百 万 条 记录 或 
1000 个 用 户 















测试 类 型 
可 伸缩 性 


样本 退出 准则 


产品 可 扩展 到 1 千 万 条 记录 
或 5000 个 用 户 




















性 能 测试 。 响应 时 间 查询 1000 条 记录 时 ， 响 应 时 查询 10 000 条 记录 时 ， 响 应 
。 吞吐 率 间 小 于 3 秒 时 间 小 于 3 秘 


。 每 轮 失 效 对 1000 条 记录 作 24 小 时 的 查 对 1000 条 记录 作 48 小 时 的 查 
。 每 个 测试 周期 失效 | 询 时 ， 失 效率 低 于 2% 询 时 ， 失 效率 低 于 0.1% 
当 压力 超过 系统 极限 在 只 能 接受 20 个 客户 的 配置 在 只 能 接受 100 个 客户 的 配置 
上 ， 产 品 应 经 受 住 25 个 客户 端 止 ， 产 品 应 经 受 住 100 个 客户 端 
同时 登录 5 小 时 同时 登录 5 小 时 




























6.5.3 平衡 关键 资源 


本 节 将 讨论 非 功能 测试 与 四 种 关键 资源 ， 即 CPU、 磁 盘 、 内 存 和 网 络 的 关系 
问题 。 这 四 种 资源 相互 关联 ， 需 要 完整 理解 它们 之 间 的 关系 ， 以 实现 非 功 能 测试 
的 策略 。 

计算 机 中 的 这 四 种 资源 需要 同等 重视 ， 因 为 需要 精心 平衡 以 提高 产品 的 质量 
因素 。 所 有 这 些 资 源 都 是 相互 依赖 的 。 例 如 ， 如 果 系 统 中 的 内 存 需求 满足 了 ， 对 
CPU 的 需求 可 能 就 相应 提高 了 。 而 这 又 会 随 着 客户 需求 的 不 断 增 长 导致 新 一 轮 升 级 。 在 发 布 
产品 的 新 版 本 时 对 这 些 资源 的 需求 一 般 会 增长 ， 因 为 软件 变 得 越 来 越 复杂 。 软 件 不 仅 是 针对 
计算 机 的 ， 而 且 还 针对 设备 ， 例 如 手机 ， 因 此 升级 资源 不 再 那么 容易 。 
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当 告 知客 户 需要 增加 CPU、 内 存 和 网 络 带 宽 以 提高 性 能 、 可 伸缩 性 和 其 他 非 功能 因素 时 ， 
他 们 常常 对 这 种 变动 感到 很 困惑 。 产 生 这 种 印象 ， 是 因为 没有 提供 描述 当 资 源 调 整 后 所 预期 
的 性 能 、 可 伸缩 性 的 合理 和 可 度量 的 指南 。 因 此 ， 当 要 求 客 户 升 级 资源 ， 需 要 清楚 地 分 析 投 
入 所 得 到 的 一 种 重要 回报 。 客 户头 脑 中 还 会 存在 的 一 个 问题 是 , “升级 以 后 我 会 得 到 什么 ? ” 
如 果 产 品 经 过 充分 测试 ， 那 么 对 于 资源 的 每 次 升级 ， 都 会 伴随 产品 在 非 功能 方面 的 改进 ， 因 
而 客户 可 以 理解 增加 资源 的 要 求 。 

重要 的 是 理解 和 承认 客户 关于 产品 大 量 使 用 的 资源 和 对 产品 使 用 非常 关键 的 资源 的 观点 。 
这 样 告诉 客户 很 容易 ，“ 产 品 A 大 量 使 用 CPU， 产 品 B 需 要 更 多 内 存 ， 产 品 C 需 要 更 高 的 带宽 ,” 
等 。 不 过 有 些 运行 在 特定 服务 器 上 的 产品 可 能 来 自 多 个 供 货 商 ,但 是 却 要 求 运 行 在 同一 台 计 
算 机 上 。 因 此 很 难 要 求 客户 增加 服务 器 上 的 所 有 资源 ， 因 为 所 有 产品 都 要 求 同 时 运行 在 同一 
台 服 务 器 上 。 类 似 地 ， 多 个 应 用 会 运行 在 共享 资源 的 客户 机 上 。 

同样 重要 的 是 从 产品 组 织 的 观点 分 析 软 件 变 得 越 来 越 复杂 ， 因 为 使 用 不 同和 最 新 技术 对 
每 个 新 版 本 都 增加 了 越 来 越 多 的 特性 。 除 非 为 产品 分 配 了 合适 的 资源 ， 否 则 很 难看 到 产品 的 
改进 。 

因为 有 很 多 资源 观点 、 有 很 多 资源 之 间 的 关系 和 对 非 功能 测试 的 不 同 需求 ， 测 试 团队 必 
须 对 资源 作出 假设 ， 并 在 开始 测试 前 得 到 开发 团队 和 客户 的 确认 。 如 果 没 有 经 过 确认 的 假设 ， 
就 不 可 能 得 出 非 功 能 测试 的 任何 合理 结论 。 以 下 是 对 资源 和 配置 作出 基本 假设 的 一 些 例子 。 

1. CPU 可 以 被 充分 使 用 ， 只 要 当 高 优先 级 的 作业 进入 时 CPU 能 够 被 释放 。 

2. 可 用 的 内 存 可 以 被 产品 完全 使 用 ， 只 要 当 另 一 个 作业 请 求 内 存 时 内 存 可 以 被 释放 。 

3. 增加 CPU 或 内 存 的 成 本 并 不 像 以 前 那样 高 。 因 此 可 以 很 容易 地 增加 资源 ， 以 得 到 更 好 
的 性 能 ， 只 要 能 够 量化 并 分 析 每 增加 一 项 资源 会 得 到 的 好 处 。 

4. 产品 会 生成 很 多 网 络 包 ， 只 要 有 可 用 的 网 络 带宽 和 延迟 ， 并 且 成 本 不 高 。 这 种 假设 中 
有 一 点 不 同 ， 所 生成 的 大 多 数 网 络 包 是 在 LAN 而 不 是 在 WAN 上 传输 的 。 对 于 WAN 和 包含 多 
跳 的 路 由 器 来 说 ， 产 品 生成 的 网 络 包 需 要 降低 。 

5. 产品 可 以 占用 更 多 磁盘 空间 或 完全 1/O 带 宽 ， 只 要 可 以 使 用 。 硬 盘 的 成 本 在 不 断 降低 ， 
而 WO 带宽 则 没有 降低 。 

6. 只 有 优化 使 用 CPU、 硬 盘 、 内 存 和 网 络 ， 客 户 在 这 些 资源 的 投资 回报 才能 最 大 化 。 因 
此 ， 软 件 需 要 有 能 力 理 解 服务 器 的 配置 及 其 使 用 。 

7. 当 计 算 机 中 的 资源 还 被 服务 器 中 的 其 他 活动 使 用 时 ， 可 以 预期 非 功能 特性 会 有 温和 的 
降低 。 

8. 同一 个 产品 在 不 同 的 配置 上 有 可 预测 的 性 能 或 可 伸缩 性 变化 是 可 接受 的 。 

9. 当 调 整 一 些 参数 后 ， 性 能 或 可 伸缩 性 的 变化 是 可 接受 的 ， 只 要 我 们 知道 调整 这 些 可 调 
整 参 数 的 影响 。 

10. 对 于 不 同 的 配置 ， 例 如 低 端 和 高 端 服务 器 ， 产 品 的 非 功 能 特性 可 能 表现 出 不 同 ， 只 要 
其 与 投资 回报 一 致 。 这 实际 上 会 激励 客户 将 其 资源 升级 。 

一 旦 这 些 样 本 假设 被 开发 团队 和 客户 确认 ， 就 可 以 开始 非 功 能 测试 了 。 


6.5.4 可 伸缩 性 测试 


可 伸缩 性 测试 的 目标 是 确定 产品 参数 的 最 大 能 力 。 由 于 要 确定 最 大 能 力 ， 因 此 ， 这 种 测 
试 需要 的 资源 一 般 非常 多 。 例 如 ， 某 个 可 伸缩 性 测试 用 例 可 能 是 确定 多 少 个 客户 机 可 以 同时 
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登录 到 服务 器 上 执行 某 些 操作 。 对 于 互联 网 ， 有 些 服务 会 要 求 对 服务 器 的 上 百 万 个 访问 。 因 
此 ， 举 试 模拟 这 种 真实 可 伸缩 性 参数 是 非常 困难 的 ， 但 同时 又 是 非常 重要 的 。 

开始 执行 可 伸缩 性 测试 时 ， 关 于 系统 的 最 大 能 力 可 能 没有 明显 线索 。 因 此 ， 要 选择 高 端 
配置 一 步 步 地 增加 可 伸缩 性 参数 ， 直 到 达到 最 大 能 力 。 

设计 和 体系 结构 会 给 出 理论 值 ， 客 户 提出 的 需求 会 提 到 期 望 的 最 大 能 力 。 可 伸缩 性 测试 
首先 验证 这 两 者 较 低 的 参数 。 如 果 客 户 需求 比 设计 和 体系 结构 所 提供 的 高 ， 则 应 暂停 可 伸缩 
性 测试 ， 并 对 设计 进行 返工 ， 然 后 再 重新 启动 可 伸缩 性 测试 验证 可 伸缩 性 参数 。 因 此 ， 需 求 、 
设计 和 体系 结构 一 同 对 待 测试 的 参数 值 提供 可 伸缩 性 测试 的 输入 。 

与 其 他 类 型 的 参数 不 同 ， 可 伸缩 性 测试 并 不 在 满足 需求 后 就 结束 。 可 伸缩 性 测试 要 持续 
进行 ， 直 到 对 于 特定 配置 可 伸缩 性 参数 达到 最 大 能 力 。 考 虑 客户 未 来 需求 的 高 度 可 伸缩 系统 
会 有 很 长 的 使 用 生命 周期 。 否 则 ， 每 次 提出 新 需求 后 ， 就 要 对 产品 进行 大 量 重新 设计 和 审查 
工作 ， 有 些 稳定 的 特性 由 于 这 些 变更 也 不 能 正常 使 用 ， 因 此 产生 质量 顾虑 。 这 种 产品 开发 所 
需 的 成 本 和 工作 量 是 很 大 的 。 

可 伸缩 性 测试 中 的 失效 包括 系统 不 能 响应 或 系统 崩溃 等 。 但 是 究竟 这 些 失 效 是 否 能 够 接 
受 ， 要 根据 业务 目标 和 目的 决定 。 例 如 ， 如 果 产 品 不 能 对 100 个 并 发 用 户 作 出 响应 ， 而 其 目标 
是 同时 支持 至 少 200 个 用 户 ， 那 么 这 就 认为 是 一 个 失效 。 如 果 产 品 预期 只 需 经受 住 100 个 用 户 ， 
在 增加 到 200 个 用 户 时 出 现 问题 ， 那 么 就 认为 该 测试 用 例 通 过 ， 出 现 的 情况 是 可 接受 的 。 

可 伸缩 性 测试 有 助 于 确定 产品 中 的 主要 瓶颈 。 如 果 发 现 资源 是 瓶颈 ， 那 么 在 确认 了 6.5.3 
节 提 到 的 假设 后 可 以 增加 资源 。 如 果 瓶 颈 在 产品 内 部 ， 则 需要 修改 产品 。 但 是 ， 有 时 基础 设 
施 ， 例 如 操作 系统 或 技术 也 可 能 成 为 瓶颈 。 在 这 种 情况 下 ， 产 品 组 织 应 与 操作 系统 和 技术 提 
供 商 交 涉 解 决 问题 。 

可 伸缩 性 测试 要 在 不 同 的 配置 上 实施 ， 以 检查 产品 的 行为 。 对 于 每 种 配置 都 要 采集 并 分 
析 数 据 。 以 下 给 出 了 一 个 数据 采集 模板 。 












给 定 配 置 

RAM: 512MB 
缓存 区 : 200MB 
用 户 数 : 100 个 (可 伸缩 参数 ) 
是 否 有 索引 : 有 索引 


记录 数 开始 时 间 结束 时 间 增加 一 条 记录 所 使 用 的 硬盘 ”所 使 用 “内存 ”每 秒 记 录 数 ”服务 器 
平均 所 需 时 间 的 CPU 配置 
















0~1 百 万 条 记录 
1~10 百 万 条 记录 






测试 结束 后 ， 对 收集 到 模板 中 的 数据 进行 分 析 ， 并 采取 合适 的 措施 。 例 如 ， 如 果 CPU 使 
用 达到 100%， 则 可 以 启用 另 一 台 服 务 器 分 摊 负 载 ， 或 在 原 服务 器 上 增加 一 个 CPU。 如 果 结 果 
成 功 ， 则 可 以 针对 200 个 或 更 多 用 户 重复 测试 ， 直 到 确定 配置 的 最 大 极限 。 

有 些 数 据 需 要 在 更 细 的 粒度 上 进行 分 析 。 例 如 ， 如 果 最 大 CPU 使 用 达到 100% ， 但 是 时 间 
很 短 ， 如 果 测 试 其 他 时 间 CPU 使 用 保持 在 40%， 增 加 一 个 CPU 就 没有 意思 了 。 但 是 就 出 现 的 
CPU 短暂 使 用 高 峰 还 是 要 对 产品 进行 分 析 ， 并 解决 问题 。 这 种 测试 要 求 定期 采集 使 用 数据 放 
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入 以 上 给 出 的 模板 中 。 通 过 研究 高 峰 出 现 的 频 度 ， 分 析 产生 高 峰 的 原因 ， 会 找 出 瓶颈 所 在 ， 
并 确定 要 采取 的 措施 。 因 此 ， 仅 仅 增加 资源 并 不 能 取得 更 好 的 可 伸缩 性 效果 。 

在 可 伸缩 性 测试 中 ， 对 资源 的 需求 随 着 可 伸缩 参数 的 增长 旦 指数 增长 。 可 伸缩 性 达到 一 
个 特定 点 后 ， 超 过 这 一 点 就 不 再 能 够 改进 了 (如 图 6-3 所 示 )。 这 一 点 叫做 可 伸缩 性 参数 的 景 
大 能 力 。 尽 管 还 有 可 用 资源 ， 但 是 产品 限制 
会 不 允许 再 扩展 。 这 叫做 产品 的 瓶颈 。 在 测 二 
试 阶段 找 出 瓶颈 并 尽早 解决 ， 是 对 继续 开始 WA ei 
可 伸缩 性 测试 的 一 个 基本 要 求 。 

前 面 已 经 解释 过 ， 可 伸缩 性 测试 可 能 还 
需要 对 资源 升级 。 如 果 没 有 产品 瓶颈 ， 则 需 
要 对 资源 升级 以 完成 可 伸缩 性 测试 。 在 升级 
资源 时 ， 要 进行 投资 回报 研究 ， 以 确定 所 得 可 人 区 全 全数 
到 的 回报 与 升级 资源 的 成 本 相 比 是 否 值得 ， ee 
以 下 是 在 进行 这 种 回报 分 析 时 要 注意 的 一 些 
假设 。 假 设 中 用 到 的 数字 和 百分比 只 是 指导 性 的 数值 ， 必 须 结合 产品 和 背景 进行 修改 。 

。 CPU 以 最 低 需求 为 基准 增加 一 倍 时 ， 可 伸缩 性 应 该 增加 50% ， 以 后 CPU 每 增加 一 倍 ， 可 

伸缩 性 应 该 增加 40%， 直 到 增加 到 制定 数量 的 CPU。 这 种 测试 适合 大 量 使 用 CPU 的 产品 。 

“内 存 以 最 低 需求 为 基准 增加 一 倍 时 ， 可 伸缩 性 应 该 增加 40%， 以 后 内 存 每 增加 一 倍 ， 可 

伸缩 性 应 该 增加 30%。 这 种 测试 适合 大 量 使 用 内 存 的 产品 。 

”NIC 卡 或 网 络 带 宽 增 加 一 倍 时 ， 可 伸缩 性 至 少 应 该 增加 30%。 大 量 使 用 网 络 的 产品 应 进 

行 这 种 测试 。 

。 IO 带宽 增加 一 倍 时 ， 可 伸缩 性 至 少 应 该 增加 50%。 大 量 使 用 1O 的 产品 应 进行 这 种 测试 。 

在 可 伸缩 性 测试 期 间 也 会 遇 到 瓶颈 。 需 要 调谐 一 定 的 操作 系统 参数 和 产品 参数 。“ 打 开 文 
件数 ”和 “产品 线程 数 ”是 可 能 需要 调整 的 参数 例子 。 在 进行 这 种 调谐 时 应 该 作 好 记录 。 包 
含 调谐 参数 和 其 他 产品 的 推荐 值 ， 以 及 达到 可 伸缩 性 数值 的 环境 参数 的 文档 叫做 伸缩 指南 。 
这 种 指南 是 可 伸缩 性 测试 必 备 的 文档 。 

改正 可 伸缩 性 缺陷 可 能 会 对 产品 的 其 他 非 功 能 特性 产生 影响 。 在 这 种 情况 下 ， 可 靠 性 测 
试 (将 在 下 一 节 讨 论 ) 要 关注 监视 参数 ， 例 如 响应 时 间 、 香 吐 量 等 ， 并 采取 必要 的 措施 。 可 
伸缩 性 不 能 以 由 性 其 他 质量 因素 的 前 提 下 获得 。 因 此 建议 测试 工程 师 与 执行 其 他 功能 和 非 功 
能 测试 的 人 员 一 起 汇总 讨论 测试 结果 。 

可 伸缩 性 另 一 个 重要 方面 是 相关 的 完成 过 程 。 可 伸缩 性 测试 需要 大 量 资源 而 且 开销 很 大 。 
最 好 能 够 在 短 时 间 内 经 过 少数 几 轮 测试 就 能 达到 可 伸缩 性 要 求 。 如 果 在 可 伸缩 性 测试 期 间 需 要 
对 产品 、 可 调谐 参数 和 资源 进行 大 量 “调整 *， 就 说 明 策划 不 够 ， 对 产品 行为 也 不 够 了 解 。 需 
要 预先 仔细 研究 产品 和 预计 出 现 的 问题 及 解决 方案 ， 才 能 够 得 到 对 这 种 测试 好 的 体验 和 感受 。 





资源 使 用 


6.5.5 可 靠 性 测试 


正如 前 面 定 义 过 的 ， 可 靠 性 测试 用 于 评价 产品 在 给 定 条 件 下 在 给 定时 间 
段 内 或 很 多 轮 选 代 内 ， 执 行 所 要 求 功能 的 能 力 。 可 靠 性 的 例子 包括 持续 不 断 
地 查询 数据 库 48 小 时 和 执行 登录 操作 10 000 次 。 

产品 的 可 靠 性 不 能 与 可 靠 性 测试 混淆 起 来 。 生 产 可 靠 产品 需要 很 好 的 技 
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术 、 很 好 的 原则 、 健 壮 的 过 程 和 强 有 力 的 管理 , 以 及 产品 组 织 内 各 个 角色 或 功能 的 一 整套 活动 。 
产品 的 可 靠 性 研究 生产 高 质量 产品 的 不 同方 法 ， 通 过 关注 产品 开发 和 过 程 的 所 有 阶段 使 产品 没 
有 什么 缺陷 。 这 里 所 说 的 可 靠 性 是 一 种 无 所 不 包 的 术语 ， 指 产品 的 所 有 质量 因素 和 功能 。 这 个 
视角 更 多 地 与 产品 开发 的 总 体 方法 有 关 ， 与 测试 的 直接 联系 较 少 。 这 种 产品 可 靠 性 通过 关注 以 
下 活动 实现 : 

1. 已 定义 的 工程 过 程 软件 可 靠 性 可 以 通过 遵循 清晰 定义 的 过 程 实现 。 要 求 团队 要 从 一 开 
始 就 理解 可 靠 性 需求 ， 并 首先 关注 创建 可 靠 的 设计 。 所 有 活动 (例如 设计 、 编 码 、 测 试 、 文 
档 编制 ) 都 经 过 策划 ， 都 要 考虑 软件 的 可 靠 性 需求 。 

2. 在 每 个 阶段 评审 工作 产品 产品 开发 生存 周期 的 每 个 阶段 结束 时 ， 所 产生 的 工作 产品 都 
. 要 经 过 评审 。 这 可 以 保证 尽早 发 现 错误 ， 一 出 现 错误 就 立即 得 到 纠正 。 

3. 变更 管理 规程 产品 中 存在 的 很 多 错误 都 是 因为 没有 很 好 地 对 产品 变更 进行 影响 分 析 。 
实践 证 明 在 产品 开发 生存 周期 的 后 期 进行 变更 是 很 有 害 的 。 可 能 没有 足够 的 时 间 进 行 回 归 测 
试 ， 因 此 产品 很 可 能 存在 由 于 变更 引入 的 错误 。 因 此 ， 必 须 清晰 地 定义 变更 管理 规程 ， 以 便 
交付 可 靠 的 软件 。 

4. 评审 测试 覆盖 率 为 不 同 阶段 和 类 型 的 测试 分 配 时 间 ， 有 助 于 在 产品 开发 过 程 中 而 不 是 
在 产品 开发 出 来 后 发 现 错误 。 所 有 测试 活动 都 要 评审 时 间 分 配 的 充分 性 、 测 试用 例 和 每 类 测 
试 所 用 的 工作 量 。 

5. 持续 监视 产品 产品 交付 以 后 ， 要 主动 分 析 所 有 可 能 遗漏 的 错误 。 在 这 种 情况 下 ， 要 针 
对 遗漏 的 缺陷 ， 既 修改 产品 也 修改 过 程 。 这 可 以 避免 同样 类 型 的 缺陷 再 次 出 现 。 

男 一 方面 ， 可 靠 性 测试 是 指 在 一 定时 间 段 内 持续 不 断 地 测试 产品 。 实 施 好 的 可 靠 性 测试 不 
保证 产品 本 身 是 可 靠 的 ， 因 为 正如 前 面 已 经 介绍 过 的 ， 产 品 是 可 靠 的 还 有 各 种 其 他 需求 。 可 靠 
性 测试 交付 的 只 是 “经 过 可 靠 性 测试 的 产品 ”， 而 不 是 可 靠 的 产品 。 可 靠 性 测试 主要 考虑 的 因 
素 是 缺陷 。 通 过 测试 发 现 的 缺陷 被 密切 监视 ， 要 与 在 前 面 阶段 清除 的 缺陷 进行 比较 ， 分 析 以 前 
没有 被 发 现 的 原因 。 跟 踪 缺 陷 既 要 指导 产品 开发 过 程 ， 也 要 指导 测试 过 程 ， 还 要 确定 软件 发 布 
的 可 行 性 。 在 项 目的 一 开始 就 要 建立 允许 最 大 缺陷 数 的 可 靠 性 准则 。 与 在 各 种 执行 测试 时 间 段 
内 发 现 的 实际 缺陷 数 进行 比较 ， 比 照 可 靠 性 准则 判定 产品 的 可 靠 性 状况 ， 如 图 6-4 所 示 。 


(缺陷 ) (缺陷 ) 
时 间 / 测 试 轮 数 时 间 / 测 试 轮 数 
a) b) 
一 一 缺陷 
可 靠 性 标准 





图 6-4 可靠 性 准则 显示 a) 平稳 进展 b) 不 平稳 的 进展 


从 图 6-4 中 可 以 看 出 ， 产 品 最 终 非 常 接近 满足 可 靠 性 准则 。 图 6-4a 说 明 满 足 可 靠 性 准则 的 
进展 是 平稳 的 ， 而 图 6-4b 进 展 过 程 中 存在 高 峰 。 这 些 高 峰 意 味 着 可 靠 性 测试 时 产品 的 缺陷 时 
多 时 少 。 这 可 能 说 明 对 缺陷 的 修改 在 系统 中 引入 了 新 的 缺陷 。 从 过 程 和 产品 两 个 角度 分 析 高 
峰 并 采取 措施 防止 高 峰 出 现 ， 有 助 于 以 有 效 和 可 重复 的 方式 满足 可 靠 性 准则 。 
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可 靠 性 不 应 以 牺牲 其 他 质量 因素 为 代价 获得 。 例 如 ， 在 重复 操作 时 ， 可 能 会 由 于 竞争 条 


件 而 出 现 失 效 。 解 决 这 个 问题 可 以 在 语句 之 间 插 入 “睡眠” 


。 这 样 做 肯定 会 影响 性 能 ， 因 此 ， 


采集 和 分 析 可 靠 性 测试 数据 还 应 该 包括 其 他 质量 因素 ， 以 便 从 整体 上 分 析 所 产生 的 影响 。 图 


6-5 给 出 了 一 个 可 靠 性 影响 性 能 的 例子 。 








” 时间/ 测试 轮 数 


图 6-5 可 靠 性 对 性 能 的 影响 


从 图 6-5 可 以 看 出 ， 虽 然 可 靠 性 看 起 来 在 接近 所 要 求 的 值 ， 但 是 响应 时 间 却 是 不 稳定 的 。 
有 效 分 析 系 统 测 试 结 果 不 仅 要 孝 虐 会聚 可 靠 性 准则 所 要 求 值 的 《正面 ) 影响 ， 也 要 分 析 为 什 
么 性 能 是 不 稳定 的 。 可 靠 性 测试 发 现 的 错误 是 由 于 重复 执行 某 些 操作 引起 的 。 内 存 泄漏 通常 
是 可 靠 性 测试 会 发 现 的 一 种 问题 。 重 复 执行 操作 后 ， 有 时 CPU 可 能 没有 被 释放 ， 磁 盘 和 网 络 
活动 可 能 还 在 继续 。 因 此 ， 采 集 有 关系 统 在 执行 可 靠 性 测试 之 前 、 之 中 和 之 后 使 用 的 各 种 资 
源 数据 ， 并 对 其 进行 分 析 是 很 重要 的 。 完 成 了 可 靠 性 测试 后 ， 产 品 的 资源 使 用 应 该 降低 到 测 
试 前 的 资源 使 用 水 平 。 这 可 以 检验 产品 使 用 资源 后 是 否 释放 。 下 表 说 明 如 何 采集 可 靠 性 数据 。 


2 配置 细节 
内 存 ，1GB 
处 理 器 : 2850MHz 


网 络 带 宽 : 100Mbps 


总 迭代 次 数 ; 

总 失效 数 : 
峰值 内 存 使 用 (MB): 
平均 内 存 使 用 (MB): 
峰值 CPU 使 用 : 

平均 CPU 使 用 ， 
服务 器 收 到 的 包 数 : 


\ 服务 器 发 送 的 包 数 : 





测试 数据 25 个 客户 60 个 客户 100 个 客户 











定期 采集 上 表 的 数据 ， 并 绘图 分 析 每 个 参数 的 变化 情 
况 。 将 可 靠 性 图 表 显 示 的 失效 数据 与 可 靠 性 准则 进行 比较 。 
采集 资源 数据 ， 例 如 CPU、 内 存 和 网 络 数据 ， 分 析 资 源 对 
可 靠 性 的 影响 。 

图 6-6 说 明了 在 可 靠 性 测试 执行 一 段 时 间 后 的 资源 使 用 
情况 。 

图 6-6 说 明 在 可 靠 性 测试 期 间 ， 网 络 的 使 用 是 稳定 的 ， 
而 内 存 和 CPU 使 用 却 上 升 。 这 需要 分 析 ， 并 从 根本 原因 上 


资源 使 用 
后 习 区 
C 洲 吉 





时 间 
图 6-6 可 靠 性 测试 执行 一 段 时 间 后 
的 资源 使 用 情况 
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解决 。CPU 和 内 存 使 用 必须 在 测试 执行 期 间 保持 稳定 。 如 果 不 断 上 升 ， 就 会 影响 机 器 上 的 其 
他 应 用 程序 ， 该 机 器 其 至 会 用 光 内 存 ， 出 现 挂 起 或 崩溃 现象 ， 在 这 种 情况 下 机 器 需要 重新 启 
动 。 由 内 存 引起 的 问题 对 于 服务 器 软件 很 常见 。 这 类 问题 需要 大 量 时 间 和 工作 来 解决 。 

有 多 种 方法 可 以 通过 图 表 表示 可 靠 性 缺陷 。 

1. 平均 失效 间隔 时 间 指 产品 连续 失效 之 间 的 平均 间隔 时 间 。 必 须 记 录 产 品 失效 时 间 的 细 
五 ， 以 便 理解 特定 时 间 框 内 的 产品 可 靠 性 。 比 方 说 ， 如 果 每 72 小 时 失效 一 次 ， 那 么 就 需要 作 
出 适当 的 决策 ， 取 出 当前 代码 ， 解 决 出 现 的 问题 ， 并 原样 部 署 。 

2. 失效 率 是 单位 时 间 发 生 的 失效 数 。 失 效率 是 给 定单 位 时 间 内 出 现 的 失效 率 数 的 函数 
(上 图 给 出 了 这 个 指标 )。 

3. 平均 发 现下 K 个 缺陷 的 时 间 是 预测 遇 到 下 K 个 缺陷 的 平均 时 间 。 如 果 产 品 不 稳定 ， 发 现 
K 个 缺陷 所 需 的 时 间 就 短 ， 产 品 逐 渐 稳 定 后 ， 发 现 K 个 缺陷 所 需 的 时 间 就 趋 于 变 长 。 

使 用 真实 场景 会 得 到 更 准确 的 可 靠 性 结果 。 既 然 可 靠 性 定义 为 在 一 定时 间 内 执行 的 操作 ， 
那么 就 不 能 保证 需要 重复 所 有 操作 。 有 些 操作 ， 例 如 配置 、 备 份 和 恢复 很 少 执行 ， 不 应 选 作 
可 靠 性 测试 操作 。 应 该 考虑 把 大 量 使 用 的 操作 和 能 够 反映 客户 日 常 实际 活动 的 操作 (场景 ) 
组 合作 为 可 靠 性 测试 操作 。 例 如 ， 登 录 一 退出 操作 应 该 是 进行 可 靠 性 测试 的 重要 操作 。 但 是 实 
际 用 户 不 会 不 断 地 连续 登录 退出 ， 一 般 中 间 会 插入 一 些 操作 。 典 型 情况 下 ， 用 户 会 检查 一 下 
电子 邮件 ， 发 送 几 条 即时 消息 ， 等 。 这 种 活动 组 合 反映 了 典型 的 真实 客户 用 法 。 正 是 这 种 活 
动 组 合 必须 纳入 可 靠 性 测试 中 。 当 多 个 用 户 通过 不 同 的 客户 机 使 用 系统 ， 不 断 重复 一 些 操作 
时 ， 可 反映 服务 器 端的 场景 。 因 此 选择 可 靠 性 测试 的 测试 用 例 应 该 考虑 与 产品 真实 使 用 更 接 
近 的 场景 。 

小 结 一 下 ,“ 经 过 可 靠 性 测试 的 产品 ”具备 以 下 特征 : 

1. 重复 执行 事务 操作 没有 错误 ， 或 错误 极 少 。 

2. 零 宕 机 。 

3. 资源 的 优化 使 用 。 

4. 对 于 重复 执行 的 事务 操作 ， 在 给 定 的 时 间 区 间 ， 产 品 具有 一 致 的 性 能 和 响应 时 间 。 

5. 重复 执行 事务 操作 没有 副作用 。 


6.5.6 压力 测试 


压力 测试 用 来 评价 系统 超过 所 描述 的 需求 或 资源 限制 时 的 情况 ， 保 证 系 
统 不 崩溃 。 实 施 压 力 测试 是 为 了 发 现在 极端 条 件 下 或 没有 必要 的 资源 时 产品 
行为 的 退化 情况 。 故 意 制造 产品 过 载 情 况 ， 模 拟 资源 出 现 问 题 ， 观 察 产 品 的 
行为 。 期 望 随 着 负载 的 增加 产品 性 能 平稳 地 下 降 ， 但 是 在 压力 测试 期 间 ， 系 
统 在 任何 时 刻 都 不 应 该 崩溃 。 

压力 测试 有 助 于 了 解 系统 在 极端 (不足 的 内 存 、 不 足 的 硬件 ) 和 现实 环境 中 的 行为 。 系 
统 资源 耗 尽 就 会 出 现 这 种 情况 。 这 有 助 于 了 解 这 些 测试 用 例 不 通过 的 条 件 ， 以 便 了 解 像 并 发 
用 户 数 、 搜 索 条 件 、 大 量 事务 等 方面 的 最 大 极限 。 

也 可 以 模拟 像 资源 不 可 用 这 样 的 极端 情况 。 有 些 工具 可 以 模拟 “挤占 内 存 ”， 产 生 巨 量 通 
信 包 挤占 网 络 带 宽 ， 创 建 占用 所 有 CPU 周 期 的 进程 ， 不 断 读 写 硬盘 ， 等 。 如 果 在 产品 上 运行 
这 些 工 具 ， 可 以 减少 进行 压力 测试 所 需 的 机 器 数 。 但 是 ， 使 用 这 类 工具 可 能 不 能 发 现 产 品 所 
有 与 压力 有 关 的 问题 。 因 此 ， 在 通过 工具 模拟 极限 条 件 进 行 测 试 后 ， 最 好 能 够 在 不 使 用 工具 
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的 情况 下 重复 原来 的 测试 。 

压力 测试 所 需 的 过 程 、 数 据 采集 和 分 析 与 可 靠 性 测试 的 非常 接近 。 唯 一 的 不 同 是 运行 测 
试用 例 的 方式 。 执 行 可 靠 性 测试 时 要 保持 恒定 的 负载 条 件 ， 直 到 测试 用 例 执行 完 。 而 对 于 压 
力 测试 ， 负 载 要 通过 各 种 方式 逐步 增加 ， 例 如 增加 客户 机 、 用 户 和 事务 处 理 的 数量 ， 直 到 超 
过 资源 被 完全 使 用 的 情况 。 随 着 负载 的 不 断 增加 ， 产 品 会 到 达 一 个 压力 点 ， 有 些 事务 会 开始 
由 于 资源 不 可 用 而 失败 ， 超 过 这 一 点 失效 率 会 增加 。 为 了 继续 进行 压力 测试 ， 负 载 要 略微 降 
低 到 这 个 压力 点 以 下 ， 观 察 产 品 是 否 会 相应 地 恢复 到 正常 状态 ， 失 效率 也 随 之 降低 ， 如 图 6-7 
所 示 。 这 种 增加 /降低 负载 操作 要 执行 两 三 次 ， 以 检查 产品 行为 与 预期 的 一 致 性 。 





失效 3 








增加 负载 降低 负载 
图 6-7 负载 变化 下 的 压力 测试 


有 了 时 产品 不 会 在 降低 负载 后 立即 恢复 ， 原 因 包 括 : 

1. 有 些 事 务 可 能 处 于 等 待 队 列 ， 这 会 延迟 恢复 时 间 。 

2. 有 些 被 拒绝 的 事务 可 能 需要 清除 ， 这 会 延迟 恢复 时 间 。 

3. 由 于 失效 ， 产 品 可 能 要 执行 一 些 清理 操作 ， 这 会 延迟 恢复 时 间 。 

4. 有 些 数据 结构 可 能 被 破坏 ， 可 能 不 能 从 压力 点 恢复 。 

产品 从 这 些 失效 迅速 恢复 所 需 的 时 间 由 MTTR (平均 恢复 时 间 ) 表示 。 不 同 的 操作 对 应 的 
恢复 时 间 也 可 能 不 同 ， 需 要 恰当 计算 。 前 面 已 经 解释 过 ， 要 在 压力 点 附近 做 多 次 测试 和 不 同 
的 操作 ， 并 计算 平均 MTTR， 如 图 6-8 所 示 。 





图 6-8 不 同 操作 的 MTTR 


在 图 6-8 中 ，MTTR 随 着 负载 围绕 压力 点 的 上 升 和 下 降 而 变化 。 从 图 6-8 中 还 可 以 注意 到 ， 每 
轮 操 作 的 操作 1 恢复 时 间 都 是 一 致 的 〈 当 负载 降低 时 操作 1 的 恢复 时 间 为 0， 不 同 轮 次 的 恢复 时 间 
相同 ) ， 而 操作 2 在 第 一 轮 后 没有 完全 恢复 ， 而 操作 3 的 恢复 时 间 随 着 轮 次 的 增加 而 略 有 增加 。 

不 是 为 每 个 操作 都 画 一 张 MTTR 图 ， 所 有 操作 的 平均 恢复 时 间 可 以 画 在 一 张 图 上 。 

前 面 已 经 提 到 过 ， 可 靠 性 测试 所 使 用 的 测试 用 例 、 数 据 采 集 单 和 过 程 也 可 以 用 于 压力 测 
试 。 唯 一 的 不 同 点 是 负载 是 可 变 的 。 还 有 就 是 可 靠 性 测试 组 合 使 用 测试 用 例 和 操作 。 选 择 使 
用 资源 的 不 同 测试 用 例 在 压力 测试 中 使 用 。 因 此 ， 在 压力 测试 时 要 对 系统 运行 很 多 不 同类 型 
的 测试 用 例 。 但 是 ， 在 系统 上 运行 产生 压力 点 的 测试 用 例 要 接近 真实 场景 。 以 下 给 出 的 是 选 
择 压 力 测试 的 测试 用 例 的 一 些 建议 。 

1. 重复 性 测试 用 例 重复 执行 的 测试 用 例 可 以 保证 所 有 数据 代码 都 能 按 预想 的 方式 运行 。 
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有 些 操作 是 由 客户 反复 执行 的 ， 设 计 压 力 测 试 时 可 考虑 恰当 组 合 这 些 操 作 和 事务 。 

2. 并 发 性 并 发 测试 用 例 可 保证 代码 以 多 路 的 方式 同时 执行 。 设 计 压 力 测试 时 选择 由 多 个 
用 户 使 用 的 操作 并 同时 执行 。 

3. 量 级 指 加 载 到 产品 的 负载 量 要 对 系统 形成 压力 。 可 以 是 一 个 供 很 多 用 户 执行 的 操作 ， 
也 可 能 是 不 同 用 户 执行 的 操作 组 合 。 设 计 压 力 测 试 时 要 策划 并 执行 可 产生 负载 量 的 操作 。 

4. 随机 变化 前 面 已 经 解释 过 ， 压 力 测试 取决 于 可 变 负载 的 增加 和 降低 。 在 设计 压力 测试 
时 要 选择 一 部 分 随机 输入 〈 包 括 用 户 数量 、 数 据 规模 ) 、 随 机 实例 和 随机 量 级 的 方式 对 系统 产 
生 压 力 的 测试 用 例 。 

压力 测试 中 遇 到 的 缺陷 通常 不 会 在 其 他 任何 测试 中 发 现 。 像 内 存 泄 漏 这 样 的 缺陷 很 容易 
被 检测 出 来 ， 但 是 由 于 负载 的 变化 和 组 合 执行 不 同类 型 的 测试 用 例 ， 很 难 对 内 存 泄漏 进行 分 
析 。 因 此 ， 压 力 测 试 一 般 在 可 靠 性 测试 之 后 进行 。 为 了 检测 与 压力 有 关 的 错误 ， 需 要 重复 执 
行 测 试用 例 很 多 次 ， 使 资源 使 用 最 大 化 ， 并 发 现 重 要 的 错误 。 压 力 测试 有 助 于 发 现 像 死 锁 、 
线程 泄漏 这 样 的 并 发 和 同步 问题 。 


6.5.7 互 操作 性 测试 


互 操作 性 测试 用 于 保证 两 个 或 多 个 产品 可 以 交换 和 使 用 信息 ， 并 恰当 地 在 
一 起 运行 。 

系统 可 以 单 向 (以 一 个 方向 交换 信息 ) 或 双向 (以 两 个 方向 交换 信息 ) 互 
操作 。 例 如 ， 文 本 编辑 器 中 的 文本 可 以 使 用 “插入 一 > 文件 ”操作 选项 输出 到 
Microsoft Word 应 用 程序 中 。 但 是 Microsoft Word 中 的 图 片 不 能 输出 到 文本 编辑 器 中 。 这 是 一 
种 单 向 互 操 作 。 电 子 邮件 管理 器 (Microsoft Outlook) 和 Microsoft Word 之 间 的 信息 交换 是 一 
种 双向 互 操作 ， 在 两 个 方向 上 都 可 以 剪裁 粘贴 信息 。 

“ 互 操 作 性 ”和 “集成 ”这 两 个 词 常常 互 换 使 用 ， 不 过 这 是 错误 的 。 集 成 是 一 种 方法 ， 而 
互 操作 性 是 末 阅 结果 。 集 成 是 关于 一 个 产品 的 ， 为 两 个 或 多 个 组 件 定义 接口 。 除 非 两 个 或 多 
个 产品 在 设计 时 就 考虑 了 交换 信息 ， 否 则 是 不 能 实现 互 操 作 性 的 。 在 集成 测试 一 章 已 经 解释 
过 ， 各 种 类 型 测试 之 间 的 界限 并 不 明显 。 表 6-3 给 出 了 进一步 的 解释 和 具体 的 背景 。 

表 6-3 不 同类 型 测试 的 划分 





测试 描述 测试 类 型 
测试 产品 组 件 之 间 的 接口 集成 测试 
测试 两 个 或 多 个 产品 之 间 的 信息 交换 互 操作 性 测试 
以 不 同 基础 设施 部 件 ， 例 如 操作 系统 、 数 据 库 和 网 络 测试 产品 兼容 性 测试 

。 测试 产品 老 版 本 生成 的 目标 码 或 二 进 制 码 是 否 能 在 当前 版 本 上 使 用 后 向 兼容 性 测试 
测试 产品 接口 是 否 能 在 基础 设施 部 件 的 未 来 版 本 上 使 用 前 向 兼容 性 测试 
测试 产品 的 API 接 口 是 否 能 在 客户 开发 的 组 件 上 使 用 API/ 集 成 测试 


互 操作 性 测试 对 于 有 因特网 背景 的 应 用 软件 来 说 更 显 重 要 ， 因 为 这 样 的 软件 具有 需要 多 
个 计算 机 和 多 个 软件 部 件 的 无 颖 共存 和 互 操作 的 特点 。 因 此 ， 越 来 越 多 的 产品 必须 具备 互 操 
作 性 ， 以 便 能 够 与 几乎 所 有 的 操作 系统 、 浏 览 器 、 开 发 工具 、 编 译 器 、 应 用 软件 等 进行 通信 。 
需要 证 明 产 品 具备 尽 可 能 高 等 级 的 互 操作 性 ， 以 便 能 够 与 其 他 系统 集成 。 

互 操作 性 测试 还 没有 实际 的 标准 方法 。 一 个 系统 对 另 一 个 系统 的 互 操作 性 测试 、 一 个 系 
统 对 多 个 系统 的 互 操作 性 测试 和 多 维 互 操作 性 测试 是 有 差别 的 。 遵 循 技术 标准 ， 例 如 SOAP 
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(简单 对 象 访问 协议 ) 、 可 扩展 标记 语言 (XML) 以 及 其 他 W3C (环球 网 财团 ) ， 一 般 会 有 助 
于 开发 使 用 公共 标准 和 方法 的 产品 。 但 是 符合 标准 对 于 互 操作 性 测试 还 是 不 够 的 ， 因 为 只 有 
标准 并 不 能 保证 一 致 的 信息 交换 和 工作 流 。 有 些 流行 产品 可 能 没有 实现 所 有 标准 。 但 是 由 于 
业务 需要 ， 被 测 产 品 需 要 与 这 些 流行 产品 进行 互 操作 。 

以 下 是 改进 互 操 作 性 测试 的 一 些 建议 : 

1. 跨 系统 信息 流 的 一 致 性 当 向 产品 提供 输入 时 ， 要 被 所 有 系统 一 致 地 理解 。 这 样 才 会 向 
用 户 返 回 一 种 平稳 、 正 确 的 响应 。 例 如 ， 如 果 使 用 数据 结构 跨 系统 传递 信息 ， 那 么 这 些 数据 
结构 的 结构 和 解释 就 应 该 在 整个 系统 内 保持 一 致 。 

2. 按照 系统 需求 修改 数据 表示 如 果 将 两 个 不 同系 统 集成 对 用 户 提供 响应 ， 第 一 个 系统 以 
特定 格式 发 送 的 数据 必须 修改 或 调整 ， 以 适应 第 二 个 系统 的 需求 。 这 有 助 于 请 求 被 当前 系统 
理解 。 只 有 在 这 个 时 候 ， 才 能 向 用 户 发 送 合适 的 响应 。 例 如 ， 当 小 尾 端 机 器 向 大 尾 端 机 器 传 
递 数 据 时 ， 字 节 顺 序 必须 改变 。 

3. 消息 的 关联 互 换 与 接收 合适 的 应 答 如 果 某 个 系统 以 消息 的 形式 发 送 一 个 输入 ， 则 第 二 
个 系统 处 于 等 待 模式 或 监听 模式 准备 接收 该 输入 。 如 果 有 多 台 机 器 参与 信息 交换 ， 就 会 出 现 
种 突 、 错 误 响 应 、 死 锁 或 通信 延迟 。 这 些 问 题 应 该 在 产品 的 体系 结构 和 设计 中 考虑 ， 而 不 应 
该 留 到 后 期 阶段 。 

4. 通信 与 消息 当 消 息 从 系统 A 传递 到 系统 B 时 ， 如 果 消 息 丢 失 或 损坏 ， 应 该 测试 产品 ， 
看 其 如 何 对 这 类 错误 消息 作出 响应 。 产 品 绝 不 能 崩溃 或 挂 起 ， 应 该 为 用 户 给 出 有 用 的 错误 信 
息 ， 要 求 其 等 待 一 段 时 间 ， 直 到 恢复 连接 。 由 于 包含 多 个 产品 ， 因 此 像 “来 自 远 程 机 器 的 错 
误 ” 这 样 的 错误 消息 会 产生 误解 ， 没 有 增加 价值 。 用 户 不 需要 知道 该 消息 来 自 哪里 ， 需 要 知 
道 的 是 产生 该 消息 的 原因 以 及 必要 的 改正 措施 。 

5. 满足 质量 要 素 当 两 个 或 多 个 产品 放 在 一 起 时 ， 会 对 相互 之 间 的 信息 交换 产生 额外 要 
求 。 这 种 需求 不 能 影响 单个 产品 已 经 满足 了 的 各 自 质量 因素 。 互 操作 性 测试 要 从 这 个 角度 进 
行 检验 。 

互 操作 性 的 责任 更 多 在 于 该 领域 包含 的 各 种 产品 的 体系 结构 、 设 计 和 标准 。 因 此 ， 只 有 
当 需 求 被 开发 活动 ， 例 如 体系 结构 、 设 计 和 编码 满足 后 ， 互 操作 性 测试 才能 取得 更 好 的 结果 。 
互 操 作 性 测试 应 该 严格 限制 在 验证 信息 交换 范畴 ， 而 不 是 发 现 缺陷 并 逐个 修改 。 

产品 之 间 的 互 操作 性 是 一 种 团体 责任 ， 需 要 很 多 产品 组 织 的 努力 。 所 有 产品 组 织 都 应 该 
协同 工作 ， 以 满足 互 操作 性 目标 。 有 一 些 关 注 互 操 作 性 标准 的 标准 制定 组 织 ， 可 以 帮助 产品 
组 织 最 大 限度 地 减少 协调 方面 的 工作 ， 可 以 辅助 定义 、 实 现 和 验证 针对 互 操作 性 的 标准 实现 。 


6.6 确认 测试 


确认 测试 是 系统 测试 之 后 的 一 个 阶段 ， 通常 由 客户 或 客户 代表 实施 。 客 户 定义 一 组 要 执 
行 的 测试 用 例 ， 以 验证 和 接受 产品 。 这 组 测试 用 例 要 由 客户 自己 执行 ， 用 以 在 购买 产品 之 前 ， 
迅速 判定 产品 的 质量 。 确 认 测 试 的 测试 用 例 一 般 数量 很 少 ， 目 的 也 不 是 为 了 发 现 缺 陷 。 更 详 
细 的 测试 〈 以 发 现 缺陷 为 目的 的 测试 ) 应 该 在 组 件 、 集 成 和 系统 测试 阶段 完成 ， 在 将 产品 交 
付 给 客户 之 前 完成 。 有 时 由 客户 和 产品 组 织 一 起 联合 开发 确认 测试 的 测试 用 例 。 在 这 种 情况 
下 ， 产 品 组 织 应 该 完整 理解 客户 在 确认 测试 时 要 测试 的 内 容 ， 产 品 组织 要 作为 系统 测试 周期 
的 一 部 分 预先 执行 这 些 测 试用 例 ， 以 避免 在 客户 执行 这 些 测试 用 例 时 产生 意外 结 采 。 

对 于 确认 测试 由 产品 组 织 单独 完成 的 情况 ， 执 行 确认 测试 要 检验 产品 是 否 满 足 在 项 目的 
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需求 定义 阶段 定义 的 确认 准则 。 确 认 测 试 的 测试 用 例 属于 黑 盒 类 型 ， 用 于 检验 一 条 或 多 条 确 
认 准 则 。 | 

确认 测试 也 要 在 近似 实际 场景 下 执行 。 除 了 检验 功能 需求 外 ， 确 认 测 试 还 要 检验 系统 的 
非 功 能 需求 。 

确认 测试 的 测试 用 例如 果 在 客户 现场 没有 通过 ， 就 会 导致 客户 拒绝 产品 ， 会 意味 着 经 济 
损失 或 耗费 人 力 物力 对 产品 进行 返工 。 


6.6.1 确认 准则 . 


确认 准则 一 一 产品 确认 | 

在 需求 阶段 ， 每 个 需求 都 与 确认 准则 关联 。 有 可 能 一 条 或 多 条 需求 映射 形成 确认 准则 
(例如 ， 所 有 高 优先 级 的 需求 都 必须 100% 地 通过 ) 。 只 要 需求 发 生变 更 ， 确 认 准 则 都 要 相应 地 
进行 修改 和 维护 。 

确认 测试 并 不 是 要 执行 以 前 没有 执行 过 的 测试 用 例 。 因 此 ， 要 对 现 有 的 测试 用 例 进 行 研 
究 ， 并 对 测试 用 例 分 类 以 对 应 形成 确认 准则 〈 例 如 ， 所 有 性 能 测试 用 例 都 必须 满足 所 要 求 的 
响应 时 间 ) 。 

确认 准则 还 要 包含 测试 对 特定 法 律 或 合同 条 款 的 符合 性 。 对 特定 法 律 ， 例 如 Sarbanes- 
Oxley 法 的 符合 性 测试 可 以 是 确认 准则 的 一 部 分 。 

确认 准则 一 一 规程 确认 

确认 准则 可 以 根据 交付 规程 进行 定义 。 规 程 确认 的 一 个 例子 是 文档 和 发 布 介质 。 这 类 确 
认 准 则 的 一 些 例子 还 包括 : 

1. 用 户 文档 、 管 理 文档 和 排 错 文 档 应 该 是 发 布 版 本 的 一 部 分 。 

2. 除了 二 进 制 代码 ， 产 品 的 源 代码 包括 构建 脚本 也 应 该 通过 CD 交付 。 

3. 在 部 署 之 前 ， 要 提供 至 少 20 人 的 产品 使 用 培训 。 

这 些 规程 确认 准则 的 检验 和 测试 都 是 确认 测试 的 一 部 分 。 

确认 准则 一 一 服务 等 级 约定 

服务 等 级 约定 (SLA) 可 以 是 确认 准则 的 一 部 分 。 服 务 等 级 约定 通常 是 由 客户 和 产品 组 
组 签署 的 合同 的 一 部 分 。 要 选择 重要 的 合同 条 款 作为 确认 测试 的 一 部 分 进行 检验 。 例 如 ， 在 
服务 等 级 约定 中 可 能 会 包含 某 些 解决 缺陷 的 时 间 限 制 ; 

。 部 署 头 三 个 月 内 发 现 的 所 有 重要 缺陷 应 免费 修改 ; 

。 系统 不 能 工作 的 时 间 不 能 高 于 0.1%; 

。 从 报告 时 间 算 起 ， 所 有 重要 缺陷 的 修改 时 间 不 得 长 于 48 小 时 。 

对 于 像 上 面 的 这 些 准 则 (除了 第 二 条 ) ， 看 起 来 好 像 没 有 什么 可 测试 或 检验 的 。 但 是 这 里 
的 确认 测试 是 要 保证 具有 满足 这 些 服务 等 级 约定 所 需 的 资源 。 





6.6.2 选择 确认 测试 的 测试 用 例 


前 面 已 经 提 到 过 ， 要 从 不 同 测试 阶段 现 有 的 测试 用 例 集合 中 选择 确认 测试 的 测试 用 例 。 
这 一 节 给 出 选择 确认 测试 测试 用 例 的 一 些 建议 : 

1. 端 到 端的 功能 验证 确认 测试 应 该 选择 涉及 产品 端 到 端 功能 的 测试 用 例 。 这 可 以 保证 所 
有 业务 事务 都 可 以 作为 一 个 整体 进行 测试 ， 并 且 这 些 事务 可 以 成 功 地 完成 。 在 进行 端 到 端的 
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产品 测试 时 ， 应 选用 实际 测试 场景 。 

2. 领域 测试 用 例 由 于 确认 测试 关注 的 是 业务 场景 ， 因 此 要 包含 产品 领域 测试 。 应 选择 反 
映 业 务 领域 知识 的 测试 用 例 。 

3. 用 户 场 景 测试 用 例 确认 测试 要 反映 真实 用 户 场景 的 验证 。 因 此 ， 要 选择 反映 用 户 场景 
的 测试 用 例 。 

4. 基本 的 完备 性 测试 用 例 要 选择 检验 产品 基本 的 已 有 功能 的 测试 用 例 。 这 些 测试 用 例 保 
证 系统 能 够 执行 所 要 求 的 基本 操作 。 对 于 产品 经 过 变更 或 修改 的 情况 ， 更 应 该 关注 这 些 测试 
用 例 的 选取 。 需 要 检验 这 些 现 有 功能 是 否 能 够 不 间断 地 持续 保持 。 

5. 新 功能 对 于 产品 经 过 变更 或 修改 的 情况 ， 确 认 测 试 还 应 选择 关注 检验 新 功能 的 测试 
用 例 。 

6. 少量 非 功 能 测试 用 例 在 确认 测试 中 应 包括 并 执行 一 些 非 功 能 测试 用 例 ， 以 再 次 验证 产 
品 的 非 功 能 特性 满足 要 求 。 

7. 符合 法 律 义务 和 服务 等 级 约定 的 测试 用 例 选择 检验 确认 测试 准则 中 包含 的 产品 对 特定 
法 律 义务 和 服务 等 级 约定 符合 性 的 测试 用 例 。 

8. 确认 测试 数据 确认 测试 要 选择 使 用 客户 真实 数据 的 测试 用 例 。 


6.6.3 执行 确认 测试 


前 面 已 经 介绍 过 ， 有 了 时 客户 自己 要 执行 确认 测试 。 在 这 种 情况 下 ， 产 品 公司 的 任务 就 是 
辅助 客户 完成 确认 测试 ， 并 解决 确认 测试 中 出 现 的 问题 。 如 果 确 认 测 
试 由 产品 组 织 完 成 ， 则 组 织 确认 测试 团队 就 成 为 最 重要 的 活动 。 

确认 测试 团队 通常 由 参与 过 产品 日 常 使 用 活动 或 熟悉 用 户 使 用 场 
景 的 人 组 成 。 具 有 很 好 客户 知识 的 产品 管理 层 、 支 持 团 队 和 咨询 团队 ， 
可 以 参与 确认 测试 的 定义 和 执行 。 他 们 可 能 不 熟悉 测试 过 程 或 软件 的 
技术 问题 ,但 是 了 解 产品 应 该 做 什么 。 确 认 测试 团队 中 90% 的 成 员 应 该 具有 所 需 的 产品 业务 
过 程 知识 ，10% 的 成 员 是 技术 测试 团队 的 代表 。 测 试 团队 中 需要 执行 确认 测试 的 成 员 很 少 ， 
因为 与 其 他 测试 阶段 相 比 ， 确 认 测 试 的 范围 和 工作 量 都 不 大 。 

前 面 已 经 介绍 过 ， 确 认 测试 团队 成 员 可 以 了 解 也 可 以 不 了 解 测试 或 过 程 。 因此， 在 确认 
测试 之 前 需要 对 团队 提供 产品 和 过 程 方面 的 恰当 培训 。 这 种 培训 也 可 以 向 不 参与 确认 测试 的 
客户 和 其 他 支持 功能 的 人 员 提 供 ， 因 为 所 花费 的 工作 量 是 相同 的 。 确 认 测 试 团队 可 以 得 到 从 
事 过 开发 和 测试 软件 的 团队 成 员 的 帮助 ， 获 取 所 需 的 产品 知识 。 可 能 还 会 通过 提供 内 部 培训 
材料 达到 同样 的 目的 。 

测试 团队 成 员 在 确认 测试 之 前 和 之 中 的 角色 是 至 关 重要 的 ， 因 为 需要 与 确认 测试 团队 成 
员 不 断交 互 。 测 试 团队 成 员 帮 助 确认 团队 成 员 采 和 集 所 需 的 测试 数据 、 选 择 确定 测试 用 例 和 分 
析 确 认 测 试 结果 。 在 确认 测试 执行 期 间 ， 确 认 测 试 团队 定期 报告 进展 ， 并 定期 产生 缺陷 报告 。 

在 确认 测试 期 间 报告 的 缺陷 有 不 同 的 优先 等 级 。 测 试 团 队 要 协助 确认 测试 团队 报告 缺陷 。 
使 系统 不 能 继续 运行 和 高 优先 级 的 缺陷 需要 在 发 布 软件 前 修改 。 如 果 在 确认 测试 期 间 发 现 重 
要 缺陷 ， 就 有 可 能 推迟 产品 发 布 日 期 。 如 果 缺 陷 修 改 涉及 产品 范围 或 需求 变更 ， 那 么 要 么 推 
迟 产品 发 布 日 期 以 在 当前 版 本 提供 所 需 特 性 ， 要 么 推迟 到 下 一 个 发 布 版 本 提供 。 所 有 这 些 缺 
陷 的 修改 (和 不 修改 ) 都 要 与 确认 测试 团队 讨论 ， 只 有 经 过 他 们 的 认可 ， 确 认 测 试 才能 结束 。 


确认 测试 由 客户 或 
客户 代表 完成 ， 以 检查 
产品 是 否 已 经 具备 在 真 
实 环境 中 使 用 的 条 件 。 
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6.7 测试 阶段 小 结 
本 节 要 归纳 前 面 已 经 介绍 过 的 所 有 测试 阶段 和 测试 类 型 。 
6.7.1 多 阶段 测试 模型 


本 章 和 前 几 章 讨论 了 各 种 测试 阶段 。 如 果 由 不 同 测试 团队 执行 这 些 测试 阶段 的 工作 ， 这 
种 模型 的 有 效 性 就 会 提高 。 但 是 ， 这 种 模型 的 一 个 大 问题 是 什么 时 候 每 个 测试 阶段 该 开始 和 
结束 。 本 节 提 出 可 以 用 来 启动 和 结束 每 个 测试 阶段 的 一 些 建议 。 每 个 测试 阶段 的 转换 由 一 组 
进入 和 退出 准则 决定 。 进 入 和 退出 准则 的 目的 是 能 够 并 行 地 实施 测试 ， 同 时 给 出 产品 质量 的 
重要 程度 ， 以 确定 是 否 能 够 进行 阶段 转移 。 太 松 或 太 严 的 进入 准则 都 有 缺点 。 进 入 准则 太 松 ， 
极端 条 件 下 所 有 测试 阶段 都 可 以 同时 开展 ， 这 时 同样 的 缺陷 会 被 不 同 的 测试 团队 报告 ， 提 高 
缺陷 发 现 的 重复 率 ， 造 成 多 个 团队 等 待 缺陷 的 修改 。 这 会 导致 所 发 布 的 产品 质量 降低 ， 不 易 
跟踪 处 理 问 题 。 在 新 版 本 出 来 时 ， 还 会 出 现 各 个 阶段 测试 用 例 重复 的 情况 。 实 践 证 明 ， 如 果 
一 个 测试 阶段 没有 满足 质量 要 求 ， 会 影响 下 一 个 测试 阶段 的 生产 率 。 太 严 的 进入 准则 可 以 避 
免 出 现 这 类 问题 ， 但 是 不 具有 并 行 性 ， 会 造成 产品 发 布 时 间 推 迟 。 图 6-9 给 出 了 这 两 种 极端 
情况 。 


太 严 的 进入 准则 


系统 测试 
确认 测试 


太 松 的 进入 准则 


时 间 线 





图 6-9 进入 准则 与 时 间 线 的 关系 


正确 的 方法 是 让 产品 质量 决定 启动 某 个 测试 阶段 的 时 间 ， 进 入 准则 应 该 提供 特定 测试 阶 
段 的 质量 要 求 和 开展 某 个 特定 阶段 的 最 早 时 机 。 执 行 前 一 个 阶段 的 团队 负责 满足 下 一 个 阶段 
的 进入 准则 。 图 6-10 说 明了 这 种 情况 。 

表 6-4、 表 6-5 和 表 6-6 给 出 了 一 些 样 本 进入 和 退出 准则 。 请 注意 单元 测试 没有 进入 和 退出 
准则 ， 因 为 单元 测试 在 代码 一 结束 编译 就 开始 ， 而 组 件 测试 的 进入 准则 可 以 用 作 单 元 测试 的 
退出 准则 。 但 是 ， 单 元 测试 的 回归 要 一 直 持 续 到 产品 发 布 。 以 下 给 出 的 准则 用 于 同时 确定 启 
动 和 结束 测试 阶段 的 产品 质量 评判 ， 并 使 测试 阶段 能 够 并 行 展 开 。 
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合适 的 进入 准则 





系统 测试 


确认 测试 





时 间 线 





图 6-10 综合 考虑 并 行 性 和 质量 的 进入 准则 


表 6-4 组 件 测试 的 样本 进入 和 退出 准则 


进入 准则 
组 件 测试 
定期 单元 测试 进展 报告 显示 70% 的 完成 率 
能 够 提供 基本 功能 ， 版 本 稳定 (可 安装 ) 
已 经 准备 好 组 件 测试 用 例 





退出 准则 


功能 中 没有 关键 和 严重 缺陷 
执行 了 100% 的 组 件 测试 用 例 ， 且 通过 率 至 少 达到 98% 
完成 了 组 件 测试 进展 报告 (定期 )， 根 据 功 能 对 缺陷 趋势 


作 了 分 类 并 进行 了 分 析 


完成 了 组 件 级 性 能 和 负载 测试 报告 ， 并 进行 了 分 析 


表 6-5 集成 测试 的 样本 进入 和 退出 准则 


进入 准则 、 


退出 准则 





集成 测试 
定期 组 件 测 试 进展 报告 显示 至 少 有 50% 的 完成 率 ， 
至 少 有 70% 的 通过 率 


功能 中 没有 需要 修改 的 关键 和 严重 缺陷 











集成 了 全 部 特性 ， 版 本 稳定 (可 安装 ， 可 升级 ) 执行 了 100% 的 集成 测试 用 例 ， 且 通过 率 至 少 达 到 98% 


缺陷 分 析 显 示 缺 陷 发 展 趋势 在 下 降 


集成 测试 进展 报告 显示 进展 顺利 ， 
的 下 降 趋 势 

性 能 和 负载 测试 报告 显示 所 有 关键 特性 都 在 可 接受 的 
范围 内 

产品 处 于 发 布 形态 (包括 文档 、 介 质 等 ) 


缺陷 分 析 显 示 一 致 








表 6-6 


系统 和 确认 测试 的 样本 进入 和 退出 准则 





进入 准则 


退出 准则 





确认 测试 
根据 定期 集成 测试 进展 报告 ,开始 系统 测试 至 
少 要 有 50% 的 通过 率 ， 开 始 确 认 测试 至 少 要 有 90% 
的 通过 率 


执行 了 100% 的 系统 测试 用 例 ， 且 通过 率 至 少 达 到 
98% 
执行 了 100% 的 确认 测试 用 例 ， 且 通过 率 达 到 100% 





集成 了 全 部 特性 ， 版 本 稳定 (产品 形态 ) 








测试 总 结 报告 显 示 所 有 阶段 的 测试 都 完成 得 很 好 ， 
并 经 过 分 析 ， 缺 陷 下 降 趋 势 至 少 已 经 持续 4 周 





缺陷 分 析 显 示 缺 陷 发 展 趋势 在 下 降 


(质量 和 进展 ) 指标 显示 产品 已 经 处 于 待 发 布 
状态 





没有 关键 和 严重 缺陷 


性 能 和 负载 测试 报告 覆盖 了 所 有 关键 特性 和 整个 
系统 
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6.7.2 多 个 发 布 版 本 的 处 理 


正如 前 面 所 介绍 过 的 那样 ， 每 个 测试 阶段 安排 单独 的 测试 团队 可 以 提高 有 效 性 ， 这 还 为 
测试 团队 创造 了 同时 处 理 多 个 发 布 版 本 的 机 会 ， 这 样 测试 团队 可 以 充分 发 挥 。 例 如 ， 组 件 测 
试 团队 满足 了 退出 准则 ， 可 以 继续 进行 第 二 个 发 布 版 本 的 组 件 测试 ， 而 同时 集成 和 系统 测试 
团队 则 可 以 关注 当前 版 本 的 测试 。 这 使 得 在 对 当前 版 本 测试 的 同时 ， 一 部 分 测试 团队 可 以 处 
理 下 一 个 发 布 版 本 。 这 是 一 种 缩短 各 个 发 布 版 本 需要 的 总 上 时间、 利用 测试 阶段 重生 和 并 行 性 
的 一 种 方法 。 图 6-11 表 示 了 这 种 概念 。 图 中 只 考虑 了 测试 团队 的 一 些 主要 活动 ， 例 如 自动 化 、 
创建 测试 用 例 和 执行 测试 用 例 ， 以 解释 概念 。 


执行 测试 有 


CT= 组 件 测试 
IT= 集 成 测试 
ST= 系 统 测 试 





图 6-11 利用 测试 阶段 期 间 的 并 行 性 同时 处 理 多 个 发 布 版 本 


6.7.3 谁 负责 实 施 与 何 时 实施 
表 6-7 回 答 了 什么 时 候 实施 什么 测试 的 问题 。 
表 6-7 什么 时 候 实施 什么 测试 
测试 类 型 单元 测试 。 ”组 件 测试 。 集成 测试 。 ”系统 和 确认 测试 


静态 分 析 / 内 存 泄 漏 /代码 复杂 度 分 析 太 过 

国际 化 友 妆 

兼容 性 (前 向 /后 向 ) 友 

本 地 化 测试 

互 操作 性 次 
API/ 接 口 测试 友 
性 能 测试 

负载 测试 

可 靠 性 
功能 /可 使 用 性 
白 盒 视 试 
黑 鲍 测试 

每 日 版 本 和 冒 烟 测试 
相互 测试 

缺陷 围歼 太 

场景 测试 让 交 
确认 测试 友 


对 于 


ob te 
站 小 罩 
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( 续 ) 
测试 类 型 单元 测试 组 件 测试 集成 测试 系统 和 确认 测试 
回归 测试 让 让 
探索 式 测试 让 交 克 
结对 测试 友 站 
即兴 测试 友 让 友 友 
可 伸缩 性 测试 友 
注 : 交 一 一 完全 六 部 分 
问题 与 练习 


Cn 


. 哪 种 系统 测试 适用 以 下 每 种 情况 : 
a. 客户 已 经 给 出 事务 负载 和 吞吐 率 需求 ， 需 要 为 客户 推荐 一 种 合适 的 硬件 和 软件 配置 。 
b. 产品 基于 Web， 具 有 很 强 的 季节 性 使 用 模式 。 需 要 了 解 产 品行 为 和 性 能 ， 甚 至 包括 负载 
远 远 超过 预期 使 用 最 大 值 的 情况 ， 以 便 为 未 来 扩展 留 下 余地 。 
c. 产品 需要 持续 运行 ， 功 能 不 能 中 断 。 
d. 有 一 个 在 Oracle 数 据 库 上 运行 的 特殊 报表 软件 。 最 近 Oracle 发 布 了 新 版 本 ， 需 要 测试 该 软 
件 是 否 能 在 这 个 新 版 本 上 运行 。 
e. 需要 度量 和 发 布 产 品 的 性 能 特性 指标 。 
将 以 下 情况 按 功 能 和 非 功能 测试 分 类 : 
a. 测试 产品 的 文档 ， 确 定 是 否 与 产品 行为 一 致 。 
b. 验证 工资 系统 满足 当地 的 税收 法 。 
c. 测试 屏幕 的 用 户 友 好 性 。 
d. 确定 产品 的 性 能 。 
e. 保证 产品 代码 覆盖 率 达 到 一 定 百分比 。 
. 以 下 哪些 是 文中 所 讲 的 “产品 级 测试 用 例 ”? 如 果 不 是 ， 请 说 明 应 该 属于 哪 一 级 。 
a. 验证 定制 能 够 在 ERP 包 之 上 进行 ， 而 ERP 包 在 数据 库 的 一 个 特定 版 本 上 运行 。 
b. 在 工资 系统 中 ， 仅 对 税收 计算 模块 进行 测试 。 
c. 在 数据 库 包 中 有 不 同 的 算法 选项 。 验 证 各 个 算法 的 行为 是 否 正确 。 
. 考虑 一 个 革命 性 开创 产品 ， 采 用 用 户 从 来 没有 使 用 过 的 全 新 使 用 方法 。 在 这 种 情况 下 ， 如 
何 刻画 “确认 测试 ”? 预见 在 确认 测试 中 会 遇 到 什么 挑战 ? 如 何 应 对 这 些 挑战 ? 
. 假设 向 客户 提出 建议 :“ 根 据 测试 结果 ， 需 要 把 内 存 增加 一 倍 ， 把 网 络 带 宽 增 加 三 倍 。 应 
该 给 出 怎样 的 客观 数据 支持 上 述 建议 ? 如 果 客 户 要 求 通过 图 表 的 方式 进行 说 明 ， 说 明 所 作 
的 所 有 假设 ， 应 该 怎样 做 ? 
6. 最 初 对 产品 的 测试 发 现 CPU 使 用 存在 高 峰 ， 但 是 在 一 般 情 况 下 ，CPU 使 用 低 于 平均 水 平 。 
需要 进一步 做 什么 测试 ， 减 少 并 确定 引起 CPU 使 用 高 峰 的 原因 ? 
以 下 哪 种 测试 场景 可 以 用 作 压 力 测 试 : 
a. 用 户 对 数据 库 作 即兴 查询 。 
b. 学 生 在 咨询 日 内 通过 网 络 登录 查询 考试 成 绩 。 
c. 客户 服务 中 心 的 用 户 录 入 各 种 客户 的 订单 、 输 入 信用 卡 信息 、 处 理 投诉 等 。 
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8. 在 说 到 因特网 时 常会 提 到 “ee 服务” ， 但 是 因特网 上 的 “服务 ”是 不 同 的 (比如 旅行 服务 、 
酒店 预定 服务 等 )。 请 考虑 由 这 些 原子 服务 组 成 的 “更 大 ”服务 给 测试 带 来 的 挑战 。 例 如 ， 
请 考虑 一 个 综合 旅行 预定 服务 ， 使 用 ( 现 有 ) 旅行 服务 的 航空 公司 订 票 功能 和 ( 现 有 ) 酒 
上 店 预定 服务 的 酒店 预定 功能 。 可 以 预见 到 对 这 种 组 合 服务 的 测试 会 遇 到 什么 挑战 ? 请 考虑 
所 有 的 测试 阶段 和 类 型 ， 假 设 购买 综合 服务 的 用 户 将 提供 端 到 端 功 能 的 责任 放 在 测试 团队 
的 时 .上 

9. 请 考虑 某 个 作为 像 电视 机 这 样 消费 品 部 件 的 代入 式 软件 。 需要 实施 本 章 介绍 的 哪 种 系统 测 
试 ? 什么 时 候 开 始 实施 ? 与 测试 比方 说 传统 财务 应 用 软件 或 数据 库 、 操 作 系统 这 样 的 系统 
软件 相 比 ， 会 遇 到 什么 挑战 ? 


第 7 章 性 能 测试 


7.1 引 论 


在 这 个 因特网 的 时 代 ， 越 来 越 多 的 业务 通过 在 线 方式 完成 事务 处 理 ， 人 们 对 所 有 应 用 程 
序 都 能 尽 可 能 快 地 运行 抱 有 很 大 期 望 ， 这 是 可 以 理解 的 。 如 果 应 用 程序 运行 很 快 ， 系 统 就 能 
迅速 满足 业务 需求 ， 还 能 够 扩展 业务 处 理 未 来 需要 。 由 于 性 能 低下 而 不 能 对 业务 事务 处 理 提 
供 服务 的 系统 或 产品 是 产品 公司 、 产 品 客户 和 产品 客户 的 客户 的 一 大 损失 。 例 如 ， 据 统计 
40% 的 美国 在 线 消费 品 销售 集中 在 11 ~12 月 。 这 个 时 间 段 出 现 的 系统 缓慢 或 缺乏 响应 意味 着 
公司 要 损失 数 以 百 万 计 的 美元 。 再 举 一 个 例子 ， 当 在 因特网 上 公布 考试 成 绩 时 ， 成 千 上 万 的 
人 会 在 很 短 的 时 间 内 访问 教育 网 站 。 如 果 网 站 要 用 很 长 时 间 才 能 完成 查询 处 理 或 显示 页 面 的 
速度 很 慢 ， 就 意味 着 可 能 损失 业务 机 会 ， 因 为 人 们 会 转 到 其 他 网 站 查询 成 绩 。 因 此 ， 性 能 是 
任何 产品 的 基本 需求 ， 也 迅速 成 为 测试 界 极为 关注 的 一 个 主题 。 


7.2 决定 性 能 测试 的 要 素 


决定 性 能 测试 的 要 素 有 很 多 。 在 理解 系统 测试 和 测试 结果 分 析 方 法 之 前 理解 这 些 要 素 的 
定义 和 目的 是 至 关 重 要 的 。 

上 一 节 已 经 介绍 过 ， 预 期 产品 在 给 定 的 时 间 内 处 理 多 个 事务 。 系 统 或 产品 处 理 多 个 事务 
的 能 力 由 叫做 吞吐 率 的 要 素 决定 。 吞吐 率 表示 在 给 定时 间 内 请 求 数量 与 产品 处 理事 务 的 比值 。 
重要 的 是 理解 吞吐 率 ( 即 单位 时 间 产 品 所 服务 的 事务 数 ) 随 施加 到 产品 上 的 负载 强 弱 变 化 。 
图 7-1 给 出 了 在 不 同 负载 条 件 下 系统 吞吐 率 的 情况 。 施 加 到 产品 上 的 负载 量 可 以 通过 增加 用 户 
数 或 增加 对 产品 的 并 发 操作 数 提高 。 


吞吐 量 








用 户 负 载 


图 7-1 不 同 负载 条 件 的 系统 吞吐 率 


从 上 面 的 例子 可 以 看 出 ， 知 吐 率 开始 随 着 用 户 负载 的 增加 而 不 断 上 升 。 这 对 于 很 多 产品 
来 说 是 一 种 理想 情况 ， 说 明 产品 能 够 在 更 多 用 户 尝试 使 用 产品 时 完成 更 多 的 工作 。 在 图 7-1 的 
第 二 部 分 ， 到 达 一 定 用 户 负载 条 件 后 (拐点 之 后 ) ， 吞 吐 率 开始 下 降 。 这 时 的 系统 用 户 会 发 现 
系统 的 响应 时 间 不 能 令 人 满意 ， 系 统 开始 用 更 多 的 时 间 完 成 业务 事务 处 理 。“ 最 佳 吞吐 率 ” 用 
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饱和 点 表示 ， 代 表 产 品 的 最 大 吞吐 率 。 

吞吐 率 表示 在 给 定时 间 区 间 和 给 定 负载 条 件 下 产品 可 以 服务 多 少 个 业务 事务 。 确 定 每 个 
事务 的 完成 时 间 也 同样 重要 。 正 如 上 一 节 所 介绍 的 ， 如 果 这 个 网 站 或 应 用 处 理 具体 请 求 需要 
的 时 间 更 长 ， 客 户 就 可 能 会 去 其 他 网 站 或 应 用 。 因 此 ， 度 量 “响应 时 间 ” 就 成 为 性 能 测试 的 
一 项 重要 活动 。 响 应 时 间 可 以 定义 为 从 请 求 到 产品 作出 第 一 个 响应 之 间 的 延迟 。 在 典型 的 客 
户 一 服务 器 环境 中 ， 吞 吐 率 表示 服务 器 能 够 处 理 的 事务 数 ， 响 应 时 间 表 示 请 求 和 响应 之 间 的 
延迟 。 

在 现实 生活 中 ， 并 不 是 所 有 的 请 求 和 应 答 之 间 的 延迟 都 是 由 产品 引起 的 。 在 网 络 场景 
中 ， 网 络 或 共享 网 络 资源 的 其 他 产品 都 会 引起 延迟 。 因 此 ， 重 要 的 是 知道 产品 引起 的 是 什 
么 延迟 ， 环 境 引起 的 是 什么 延迟 。 这 又 引出 性 能 的 另 一 个 要 素 ， 即 反应 时 间 。 反 应 时 间 是 
由 应 用 程序 、 操 作 系统 和 环境 引起 的 需要 单独 计算 的 延迟 。 为 了 解释 反应 时 间 ， 下 面 举 一 
个 Web 应 用 的 例子 ， 这 个 应 用 通过 与 由 网 络 连接 的 Web 服 务 器 和 数据 库 服务 器 通信 提供 服 
务 。 如 图 7-2 所 示 。 





图 7-2 各 种 层次 一 一 网 络 和 应 用 上 的 反应 时 间 
在 上 面 的 例子 中 ， 反 应 时 间 可 以 对 运行 在 客户 机 上 的 产品 进行 计算 ， 也 可 以 表示 产品 可 


以 用 于 基础 设施 。 对 于 图 7-2， 反 应 时 间 和 响应 时 间 可 以 计算 为 ; 
网 络 反 应 时 间 =N1+N2+N3 十 N4 
产品 反应 时 间 =Al+A2+A3 
实际 响应 时 间 = 网络 反 应 时 间 十 产品 响应 时 间 





以 上 关于 性 能 中 反应 时 间 的 讨论 很 重要 ， 因 为 对 产品 的 任何 改进 
都 只 能 通过 改进 A1、A2 和 A3 降 低 响 应 时 间 。 如 果 网 络 反 应 时 间 与 产 
品 反 应 时 间 相 比 更 重要 ， 且 更 影响 响应 时 间 ， 那 么 改进 产品 性 能 就 没 
有 多 少 意 义 。 在 这 种 情况 下 ， 研 究 改 进 网 络 基础 设施 是 值得 的 。 对 于 
网 络 反 应 时 间 很 长 且 不 能 再 改进 ， 则 产品 可 以 使 用 一 些 明 智 的 方法 ， 


性 能 测试 评价 响应 
时 间 、 吞 吐 率 和 系统 的 
使 用 情况 ， 执 行 所 要 求 
的 功能 以 对 同一 产品 的 
不 同 版 本 或 不 同 的 竞争 


包括 缓存 和 通过 一 个 包 发 送 多 个 请 求 并 成 批 地 接收 应 答 。 天 语 过 而 妈 如 
决定 性 能 测试 的 下 一 个 要 素 是 调 详 。 调 谐 是 一 种 通过 设置 不 同 的 
产品 、 操 作 系统 和 其 他 组 件 的 参数 (变量 ) 值 改进 产品 性 能 的 规程 。 调 谐 不 需要 接触 产品 源 
代码 ， 就 可 以 改进 产品 性 能 。 每 个 产品 都 可 能 有 可 以 在 运行 时 间 设 置 的 参数 或 变量 ， 以 获得 
优化 的 性 能 。 这 类 产品 参数 设置 的 默认 值 对 于 具体 的 部 署 ， 不 一 定 总 会 给 出 优化 性 能 。 因 此 ， 
需要 修改 参数 或 变量 值 ， 以 适应 部 署 或 特定 的 配置 。 实 施 性 能 测试 时 ， 调 谐 参数 是 在 采集 实 
际 数字 之 前 需要 完成 的 一 项 重要 的 活动 。 
性 能 测试 需要 考虑 的 另 一 个 要 素 是 竞争 产品 的 性 能 。 产 品 性 能 经 过 非常 充分 的 改进 ， 如 
果 不 能 与 竞争 产品 相当 也 是 没有 商业 意义 的 。 因 此 ， 将 产品 的 吞吐 率 和 响应 时 间 与 竞争 产品 
进行 比较 是 非常 重要 的 。 这 种 与 竞争 产品 进行 比较 的 性 能 测试 叫做 基准 测试 。 没 有 两 个 产品 
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在 特性 、 成 本 和 功能 上 是 相同 的 。 因 此 确定 从 哪些 参数 对 两 个 产品 进行 比较 并 不 容易 。 需 要 
精心 分 析 才 能 列 出 要 在 产品 之 间 比 较 的 事务 清单 ， 才 能 进行 对 等 的 比较 。 这 类 规程 的 目的 是 
参照 竞争 对 手 的 产品 改进 自己 产品 的 性 能 。 

影响 性 能 测试 的 一 个 最 重要 的 要 素 是 资源 的 可 用 性 。 需 要 恰当 的 配置 (包括 硬件 和 软件 ) 
导出 性 能 测试 和 部 署 的 最 佳 结果 。 确 定 要 使 用 的 资源 和 配置 的 活动 叫做 能 力 策划 。 能 力 策划 
的 目的 是 帮助 客户 在 安装 或 升级 产品 之 前 落实 硬件 和 软件 资源 。 这 种 活动 还 要 确定 对 于 可 用 
的 硬件 和 软件 资源 客户 预期 的 性 能 。 

归纳 一 下 ， 性 能 测试 的 目的 是 保证 产品 : 

。 在 给 定 的 时 间 段 内 处 理 所 需 的 事务 数 (吞吐 率 ) ， 

。 可 以 在 不 同 的 负载 条 件 下 运行 〈 可 用 性 ) ， 

。 对 于 不 同 的 负载 条 件 响 应 足够 快 (响应 时 间 ) ， 

。 有 不 错 的 资源 (包括 硬件 和 软件 ) 投入 回报 ， 确 定 不 同 的 负载 条 件 产品 所 需 的 资源 种 

类 (能 力 策划 ) ， 

。 在 不 同 参 数 上 与 竞争 对 手 的 产品 相当 或 更 优 。 

这 种 对 性 能 测试 及 其 要 素 的 理解 有 助 于 确定 以 下 性 能 测试 的 定义 。 


7.3 性 能 测试 的 方法 论 


由 于 有 大 量 资源 和 时 间 需 求 ， 性 能 测试 是 很 复杂 、 很 费 钱 的 ， 因 此 ， 需 要 精心 策划 和 健 
壮 的 方法 论 。 性 能 测试 是 模糊 的 ， 因 为 充当 各 种 角色 的 不 同 的 人 都 有 不 同 的 预期 。 此 外 ,在 
性 能 测试 期 间 发 现 的 很 多 缺陷 可 能 需要 修改 设计 和 体系 结构 。 最 后 ， 对 性 能 缺陷 的 修改 甚至 
会 使 一 些 功 能 出 现 问 题 ， 因 此 回归 需要 更 多 的 工作 量 。 所 以 ， 本 市 集中 讨论 以 方法 论 的 方式 
实施 性 能 测试 的 各 种 步骤 和 指南 。 性 能 测试 方法 论 包含 以 下 步骤 : 

1. 收集 需求 

2. 编写 测试 用 例 

3. 自动 化 性 能 测试 用 例 

4. 执行 性 能 测试 用 例 

5. 分 析 性 能 测试 结果 

6. 性 能 调谐 

7. 性 能 基准 测试 

8. 向 客户 推荐 合适 的 配置 (能力 策划 ) 


7.3.1 收集 需求 


策划 性 能 测试 的 第 一 步 是 收集 需求 。 在 典型 情况 下 ， 功 能 测试 有 明确 的 输入 和 输出 集 ， 
有 明确 的 预期 结果 定义 。 而 性 能 测试 一 般 需要 详细 描述 的 文档 和 环境 设置 ， 并 且 可 能 难以 预 
先 很 清楚 预期 结果 。 由 于 有 这 些 差别 ， 收 集 性 能 测试 的 需求 就 成 为 特有 的 挑战 。 

首先 , 性 能 测试 需求 应 该 是 可 测试 的 一 一 并 不 是 所 有 特性 和 功能 都 可 以 测试 性 能 的 。 例 如 ， 
涉及 手工 干预 的 特性 不 能 测试 性 能 ， 因 为 测试 结果 取决 于 用 户 对 产品 的 输入 速度 。 只 能 完全 
自动 化 的 产品 执行 性 能 测试 。 

其 次 ， 性 能 测试 需求 需要 清楚 地 描述 需要 度量 和 改进 的 要 素 。 正 如 上 一 节 讨 论 过 的 ， 性 
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能 有 多 种 要 素 ， 例 如 响应 时 间 、 反 应 时 间 、 吞 吐 率 、 资 源 使 用 等 。 因 此 ， 需 求 需要 把 一 个 或 
多 个 要 素 的 度量 和 改进 作为 性 能 测试 的 一 部 分 。 

最 后 ， 性 能 测试 需求 要 与 所 需 的 实际 与 预期 改进 量 或 百分比 关联 起 来 。 例 如 ， 如 果 业 务 
事务 ， 比 方 说 ATM 机 提取 现金 ， 应 该 在 两 分 钟 内 完成 ， 那 么 形成 文档 的 需求 就 要 说 明 预 期 的 
实际 响应 时 间 。 只 有 这 样 才能 确定 性 能 测试 的 通过 /不 通过 状态 。 如 果 没 有 合适 参数 (响应 时 
间 、 知 吐 率 等 ) 的 预期 数字 ， 就 会 使 性 能 测试 完全 失去 意义 ， 因 为 没有 对 成 功 的 定量 度量 ， 
最 终 就 不 会 有 什么 结论 或 改进 。 

因为 有 以 上 挑战 ， 所 以 ， 关 键 问 题 就 是 如 何 导出 性 能 测试 的 需求 。 导 出 性 能 测试 有 多 个 
来 源 ， 包 括 : 

1. 与 同一 产品 的 以 前 版 本 进行 性 能 比较 性 能 需求 可 以 类 似 “ATM 机 取款 事务 处 理 速度 将 
比 前 一 版 提高 10%” 这 样 的 描述 。 

2. 与 竞争 产品 进行 性 能 比较 性 能 需求 可 以 类 似 “ATM 机 取款 事务 处 理 速度 将 与 竞争 产品 
XY2Z 一 样 或 快 ”这 样 的 描述 。 

3. 与 根据 实际 需要 导出 的 绝对 数字 进行 性 能 比较 性 能 需求 可 以 类 似 “ATM 机 应 能 每 天 处 
理 1000 个 事务 ， 每 个 事务 的 处 理 速度 不 超过 1 分 钟 ” 这 样 的 描述 。 

4. 从 体系 结构 和 设计 中 导出 的 性 能 数字 产品 的 体系 结构 师 和 软件 设计 师 通常 比 任何 人 都 
能 更 好 地 说 出 产品 的 预期 性 能 如 何 。 体 系 结构 和 软件 设计 的 目标 是 根据 特定 负载 下 预期 的 性 
能 确定 的 。 因 此 ， 可 以 预期 源 代码 的 编写 也 要 满足 这 些 性 能 要 求 。 

有 两 类 性 能 测试 需求 需要 关注 ， 即 一 般 需求 和 特殊 需求 。 一 般 需求 是 产品 领域 内 所 有 产 
品 都 共有 的 需求 。 这 个 领域 内 的 所 有 产品 都 要 达到 这 些 性 能 预期 。 有 些 产品 需要 满足 服务 水 
平 约定 和 标准 。 装 入 一 个 页 面 所 需 的 时 间 、 对 鼠标 点 击 的 初始 响应 时 间 和 在 屏幕 之 间 漫 游 所 
需 的 时 间 都 是 一 般 需 求 的 例子 。 特 殊 需 求 取决 于 具体 产品 的 实现 ， 给 定 领域 内 不 同 产品 的 特 
殊 需 求 也 是 不 同 的。 特殊 性 能 需求 的 例子 包括 在 ATM 机 上 提取 现金 所 需 的 时 间 。 性 能 测试 时 
一 般 和 特殊 需求 都 要 测试 。 

. 前 面 介绍 过 ， 性 能 测试 还 包括 负载 模式 和 可 用 的 资源 ， 以 及 在 不 同 负载 条 件 下 产品 的 预 
期 行为 。 因 此 ， 在 将 预期 响应 时 间 、 吞 吐 率 或 任何 其 他 性 能 要 素 写 人 文档 时 ， 同 样 重 要 的 是 
与 不 同 的 负载 条 件 对 应 起 来 ， 如 表 7-1 所 示 。 


表 7-1 性 能 测试 需求 举例 











事务 预期 响应 时 间 ”负载 模式 和 吞吐 率 机 器 配置 
在 ATM 机 提取 现金 2 秒 最 多 10 000 个 用 户 同 时 访问 Pentium IV/512MB RAM/ 宽 带 网 
在 ATM 机 提取 现金 40 秒 最 多 10 000 个 用 户 同 时 访问 Pentium IV/512MB RAM/ 拨 号 网 
在 ATM 机 提取 现金 4 秒 10 000 一 20 000 个 用 户 同 时 访问 ”Pentium IV/512MB RAM/ 宽 带 网 


任何 产品 在 超过 一 定 的 负载 后 都 会 呈现 一 定 的 性 能 下 降 。 虽 然 理 解 这 种 现象 很 容易 ， 但 
是 ， 如 果 不 知道 负载 条 件 下 的 下 降 程度 会 很 难 实施 性 能 测试 。 性 能 下 降 过 大 用 户 是 不 能 接受 
的 。 例 如 ， 在 ATM 机 提取 现金 超过 一 小 时 才能 完成 ， 不 管 有 什么 原因 或 负载 条 件 都 是 不 能 
受 的 。 这 种 情况 下 ， 请 求 提 取现 金 的 客户 只 能 等 待 ， 也 可 能 离开 ATM 机 ， 结 果 现 金 给 了 下 一 
个 到 达 ATM 机 的 客户 ! 当 负 载 增加 时 ， 可 接受 的 极限 性 能 值 用 “平稳 性 能 下 降 ” 表 示 。 确 认 
产品 需要 的 这 种 有 效 平稳 下 降 也 是 性 能 测试 的 一 种 需求 。 
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7.3.2 编写 测试 用 例 


性 能 测试 的 下 一 步 是 编写 测试 用 例 。 前 面 简单 讨论 过 ， 性 能 测试 的 测试 用 例 应 该 有 以 下 
细节 : 
1. 要 测试 的 操作 或 业务 事务 列表 ， 

2. 执行 这 些 操作 和 事务 的 步 又 ， 

3. 影响 性 能 测试 及 其 结果 的 产品 和 操作 系统 参数 列表 ， 

4. 负载 模式 ， 

5. 资源 及 其 配置 (网络 、 硬 件 、 软 件 配置 ) ， 

6. 预期 结果 〈 即 预期 响应 时 间 、 吞 吐 率 、 反 应 时 间 ) ， 

7. 要 比较 的 产品 版 本 或 竞争 产品 及 其 相关 信息 ， 例 如 对 应 的 字段 (上面 给 出 的 步骤 
2~6)。 

性 能 测试 用 例 本 质 上 可 以 重复 执行 。 这 些 测 试用 例 通常 针对 不 同 的 参数 值 、 不 同 的 负载 
条 件 等 重复 执行 。 因 此 ， 针 对 什么 条 件 重复 什么 测试 等 细节 ， 需 要 在 测试 用 例文 档 中 说 明 。 

在 针对 不 同 的 负载 模式 测试 产品 时 ， 重 要 的 是 逐渐 增加 负载 或 可 伸缩 性 ， 以 避免 在 出 现 
失效 时 做 不 必要 的 工作 。 例 如 ， 如 果 ATM 提 款 对 10 个 并 发 操作 失效 ， 则 尝试 10 000 个 并 发 操 
作 就 没有 意义 。 测 试 10 000 个 并 发 操作 所 需 的 工作 可 能 是 测试 10 个 并 发 操作 的 许多 倍 。 因 此 ， 
系统 化 的 方法 应 该 是 逐步 增加 并 发 操作 数 ， 比 方 说 10、100、1000、10 000 地 增加 ， 而 不 是 在 
第 一 轮 尝 试 10 000 个 并 发 操作 。 测 试用 例文 档 应 该 明确 说 明 这 种 方法 。 

性 能 测试 是 一 种 很 费时 费 工 的 过 程 。 并 不 是 所 有 操作 和 业务 事务 都 可 以 包含 到 性 能 测试 
中 ， 因 此 ， 要 为 性 能 测试 的 所 有 测试 用 例 分 配 不 同 的 优先 级 ， 以 便 高 优先 级 的 测试 用 例 能 够 
优先 执行 。 客 户 提 出 的 优先 级 可 以 采用 绝对 优先 级 ， 性 能 测试 的 测试 用 例 也 可 以 采用 相对 优 
先 级 。 绝 对 优先 级 由 需求 说 明 ， 测 试 团队 通常 分 配 相 对 优先 级 。 在 执行 测试 用 例 时 ， 需 要 考 
虑 绝对 和 相对 优先 级 ， 并 对 测试 用 例 排序 。 


7.3.3 自动 化 性 能 测试 用 例 


在 性 能 测试 方法 论 中 ， 自 动 化 是 很 重要 的 一 个 步骤 。 由 于 以 下 特点 ， 性 能 测试 本 身 很 自 
然 地 会 要 求 自动 化 测试 用 例 。 

1. 性 能 测试 需要 重复 。 

2. 性 能 测试 用 例如 果 不 自动 化 就 不 会 是 高 效 的 ， 在 大 多 数 情况 下 ， 不 自动 化 几乎 不 能 执 
行 性 能 测试 。 

3. 性 能 测试 的 结果 需要 精确 ， 手 工 计算 响应 时 间 、 吞 叶 率 等 可 能 不 够 精确 。 

4. 性 能 测试 要 考虑 多 种 要 素 。 这 些 要 素 之 间 有 太 多 的 排列 组 合 ， 如 果 手 工 测 试 这 些 要 素 ， 
很 难 记 住 并 使 用 所 有 的 排列 组 合 。 

5. 性 能 测试 结果 和 失效 的 分 析 需 要 考虑 相关 信息 ， 例 如 以 一 定时 间 间 隔 采 集资 源 的 使 用 、 
日 志文 件 、 跟 踪 文 件 等 。 很 难 在 执行 性 能 测试 时 手工 记录 好 所 有 这 些 相关 信息 并 进行 分 析 。 

第 16 章 将 要 讨论 ， 在 性 能 测试 的 自动 化 脚本 中 不 加 入 任何 固定 编码 的 数据 。 这 种 固定 纺 
码 会 影响 测试 用 例 的 可 重复 性 ， 可 能 需要 更 多 的 时 间 和 精力 对 自动 化 脚本 进行 修改 。 

性 能 测试 需要 端 到 端的 自动 化 。 不 仅 测 试用 例 本 身 ， 而 且 测 试用 例 所 要 求 的 设置 、 设 置 
不 同 的 参数 值 、 创 建 不 同 的 负载 条 件 、 设 置 并 执行 竞争 产品 的 操作 和 事务 ， 也 都 需要 作为 自 
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动 化 脚本 的 一 部 分 。 在 自动 化 性 能 测试 用 例 时 ， 重 要 的 是 要 使 用 标准 工具 和 实践 。 由 于 有 些 
性 能 测试 用 例 涉及 与 竞争 产品 的 比较 ， 测 试 结果 高 度 敏感 ， 因 此 测试 结果 需要 一 致 、 可 重复 
和 精确 。 


7.3.4 执行 性 能 测试 用 例 


一 般 来 说 ， 执 行 性 能 测试 的 工作 量 小 于 策划 、 数 据 采集 和 分 析 的 工作 量 。 前 面 已 经 讨论 
过 ， 性 能 测试 需要 100% 的 端 到 端 自动 化 ， 如 果 做 到 这 一 点 ， 那 么 执行 性 能 测试 用 例 不 过 就 是 
调用 一 定 的 自动 化 脚本 。 但 是 ， 执 行 中 通常 工作 量 最 大 的 还 是 数据 采集 。 在 执行 性 能 测试 时 
需要 采集 与 以 下 有 关 的 数据 。 

1. 测试 用 例 执行 的 起 止 时 间 。 

2. 产品 和 操作 系统 的 日 志和 跟踪 审计 文件 (为 了 以 后 的 调试 和 可 重复 )。 

3. 定期 的 资源 使 用 统计 (CPU、 内 存 、 硬 盘 、 网 络 使 用 等 ) 。 

4. 所 有 环境 参数 的 配置 (硬件 、 软 件 和 其 他 组 件 ) 。 

5. 在 测试 用 例文 档 中 规定 的 固定 时 间 间 隔 的 响应 时 间 、 吞 吐 率 、 反 应 时 间 等 。 

与 性 能 测试 执行 有 关 的 另 一 个 问题 是 场景 测试 。 通 常 由 用 户 执 行 的 一 组 事务 和 操作 构成 
性 能 测试 的 场景 。 场 景 测试 要 保证 不 同 用 户 和 机 器 并 发 使 用 的 各 种 操作 和 事务 组 合 能 够 满足 
性 能 准则 要 求 。 在 现实 世界 中 ， 并 不 是 所 有 用 户 都 一 直 执行 同样 的 操作 ， 因 此 要 进行 这 样 的 
测试 。 例 如 ， 并 不 是 所 有 用 户 都 从 ATM 机 提取 现金 ， 有 些 用 户 要 查询 账户 余额 ， 有 些 要 存 钱 ， 
等 。 在 这 种 情况 下 ， 要 用 现 有 的 自动 化 脚本 执行 这 个 场景 测试 (不 同 的 用 户 执 行 不 同 的 事务 ) ， 
并 使 用 现 有 的 工具 采集 相关 的 数据 。 

产品 针对 硬件 和 网 络 环境 的 不 同 配置 表现 出 的 性 能 ， 是 在 执行 中 应 该 考虑 的 问题 。 这 要 
求 对 不 同 的 配置 重复 执行 测试 用 例 。 这 种 测试 叫做 配置 性 能 测试 。 配 置 性 能 测试 保证 产品 的 
性 能 与 不 同 的 硬件 协调 一 致 ， 利 用 这 些 配 置 的 特性 ， 最 大 限度 地 得 到 最 好 的 性 能 。 对 于 给 定 
配置 ， 产 品 要 表现 出 最 好 的 性 能 ， 如 果 配 置 改善 ， 产品 的 性 能 也 应 随 之 提高 。 表 7-2 给 出 了 配 
置 性 能 测试 的 一 个 例子 。 性 能 测试 用 例 针 对 表 7-2 中 的 每 一 行 执 行 一 次 ， 记 录 并 分 析 诸 如 响应 
时 间 和 吞吐 率 这 样 的 要 素 。 

表 7-2 样本 配置 性 能 测试 


7 用 户 数 测试 环境 
在 ATM 机 查询 账户 余额 20 RAM 512 MB，P4 双 核 处 理 器 ， 
操作 系统 : Windows NT Server 
在 ATM 机 提取 现金 20 RAM 128 MB ，P4 单 核 处 理 器 ， 
操作 系统 : Windows 98 
在 ATM 机 查询 用 户 信息 40 RAM 256 MB ，P3 四 核 处 理 器 ， 


操作 系统 : Windows 2000 


一 旦 执行 完 性 能 测试 并 采集 了 各 种 数据 点 ， 下 一 步 就 是 把 数据 绘 成 图 。 前 面 介绍 过 ， 性 
能 测试 用 例 要 针对 不 同 的 配置 和 不 同 的 参数 值 重复 执行 。 因此， 将 这 些 测 试用 例 分 成 组 ， 用 
图 表 方 式 表示 是 很 有 意义 的 。 将 数据 绘 成 图 有 助 于 快速 分 析 ， 否 则 对 原始 数据 加 工 非 常 困难 。 
图 7-3 给 出 了 绘制 性 能 数据 图 表 的 例子 。 参 见 彩 图 。 
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图 7-3 图 表 绘制 举例 





7.3.5 分 析 性 能 测试 结果 


分 析 性 能 测试 结果 需要 多 维 思 雳 。 这 是 性 能 测试 中 最 复杂 的 工作 ， 绝 对 需要 产品 知识 、 
分 析 技 能 和 统计 背景 知识 。 

在 分 析 数 据 之 前 ， 需 要 对 数据 进行 计算 和 组 织 ， 包 括 : 

1. 计算 性 能 测试 结果 数据 的 平均 值 。 

2. 计算 标准 差 。 

3. 去 除 噪声 ， 并 重新 绘制 图 表 和 重新 计算 平均 值 和 标准 差 。 

4. 由 于 产品 实现 的 缓存 和 其 他 技术 ， 需 要 将 来 自 缓 存 区 的 数据 和 产品 处 理 的 数据 区 分 开 来 。 

5. 区 分 资源 完全 可 用 的 情况 和 背景 活动 正在 进行 中 的 性 能 数据 。 

为 了 公布 性 能 数据 ， 需 要 满足 一 个 基本 预期 ， 即 性 能 数据 是 能 够 为 客户 复 现 的 。 为 此 ， 
需要 多 次 重复 所 有 性 能 测试 ， 并 取 这 些 值 的 平均 值 。 这 样 可 以 增加 能 够 在 客户 场地 上 对 于 同 
样 的 配置 和 负载 条 件 复 现 性 能 数据 的 机 会 。 

可 重复 性 不 仅 取决 于 对 性 能 数据 取 平 均值 ， 还 取决 于 产品 性 能 数据 的 一 致 性 。 标 准 差 对 
此 会 有 帮助 。 根 据 标准 差 可 以 判定 性 能 数据 是 否 能 够 在 客户 场地 复 现 。 标 准 差 反 应 的 是 数据 
偏离 平均 值 的 程度 。 例 如 ， 如 果 100 人 在 ATM 机 上 提取 现金 的 平均 响应 时 间 为 100 秒 ， 标 准 差 
是 2， 那 么 与 标准 差 是 30 相 比 ， 有 更 大 的 机 会 这 个 性 能 数据 能 够 复 现 。 标 准 差 接 近 零 表示 产品 
性 能 具有 很 高 的 可 复 现 性 ， 性 能 值 很 一 致 。 标 准 差 值 越 大 ， 产 品 性 能 的 可 变性 越 大 。 

如 果 有 一 组 性 能 数据 来 自 相同 测试 用 例 的 多 次 运行 ， 有 可 能 在 几 轮 重复 中 ， 脚 本 、 软 件 
或 人 员 出 现 错误 。 取 这 些 执行 过 程 中 的 错误 数据 是 不 妥 的 ， 需 要 舍弃 这 样 的 数据 。 不 仅 如 此 ， 
如 果 在 图 上 表示 这 些 数据 ， 超 出 范围 的 一 两 个 值 会 使 图 表 出 现 发 散 ， 不 易 进行 有 意义 的 分 析 。 
可 以 舍弃 这 种 值 ， 以 得 到 平滑 的 曲线 或 图 。 清 除 一 些 不 想 要 的 取 值 的 过 程 叫做 唆 声 清除 。 从 
采集 数据 中 清除 一 部 分 取 值 后 ， 要 重新 计算 平均 值 和 标准 差 。 

绝 大 多 数 客户 -服务 器 、 因 特 网 和 数据 库 应 用 程序 在 查询 时 都 会 把 数据 存储 在 高 速 缓存 区 
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中 ， 以 便 再 次 进行 相同 查询 时 能 够 快速 地 提供 数据 。 这 种 方法 叫做 组 大 。 要 根据 结果 的 来 源 ， 
来 自 服务 器 还 是 来 自 缓存 区 来 区 分 性 能 数据 。 这 些 数据 可 以 保存 在 两 个 不 同 的 数据 集中 ， 一 
个 对 应 缓存 区 ， 一 个 对 应 服务 器 。 把 数据 保存 在 两 个 不 同 的 数据 集中 ， 使 以 后 可 以 根据 部 署 
中 的 预期 选中 率 ， 对 性 能 数据 进行 外 推 。 例 如 ， 假 设 缓存 区 中 的 数据 会 产生 1000 微 秒 的 响应 
时 间 ， 服 务 器 访问 占用 1 微 秒 ， 请 求 的 90% 可 以 通过 缓存 区 满足 。 这 样 平均 响应 时 间 就 是 : 
0.9 x 1000+0.1x1=900.1 微 秒 。 这 样 平 均 响 应 时 间 就 根据 权重 而 不 是 简单 平均 算出 。 

产品 的 一 些 “ 定 时 启动 的 活动 ”或 操作 系统 和 网 络 的 后 台 活 动 会 影响 性 能 数据 。 一 个 这 
种 活动 的 例子 是 操作 系统 或 编译 器 内 存 管理 中 的 垃圾 收集 和 去 除 碎 块 活动 。 当 这 种 活动 在 后 
台 启 动 后， 就 会 造成 性 能 下 降 。 确 定 这 些 后 台 事件 ， 将 这 些 数据 分 离 并 进行 分 析 ， 有 助 于 得 
到 正确 的 性 能 数据 。 

组 织 了 数据 集 (经 过 前 面 介绍 过 的 恰当 噪声 清除 和 精细 化 ) 后 就 要 分 析 性 能 数据 ， 归 纳 
以 下 内 容 : 

1. 当 执 行 多 次 测试 时 ， 产 品 的 性 能 是 否 一 致 。 

2. 对 于 什么 类 型 的 配置 (包括 硬件 和 软件 ) 和 资源 可 以 预期 怎样 的 性 能 。 

3. 什么 参数 影响 性 能 ， 能 够 如 何 利 用 这 些 参 数 提高 性 能 (请 参阅 性 能 调谐 一 节 )。 

4. 对 于 性 能 要 素 ， 包 含 多 个 混合 操作 的 场景 有 什么 作用 。 

5. 像 缓存 这 样 的 产品 技术 对 性 能 改进 有 什么 作用 (请 参阅 性 能 调谐 一 节 )。 

6. 负载 增加 到 什么 程度 性 能 参数 是 可 接受 的 ， 产 品 性 能 是 否 满足 “平稳 下 降 ” 准 则 。 

7. 对 于 一 组 负载 、 资 源 和 参数 这 类 的 要 素 ， 产 品 的 优化 吞吐 率 和 响应 时 间 是 多 少 。 

8. 满足 了 哪些 性 能 需求 ， 与 以 前 的 版 本 或 较 早 确定 的 预期 或 竞争 产品 的 比较 情况 如 何 。 

9. 有 时 可 能 不 能 使 用 高 端 配置 进行 性 能 测试 。 在 这 种 情况 下 ， 使 用 通过 性 能 测试 能 够 得 
到 的 现 有 性 能 数据 集 和 图 表 ， 外 推 或 预测 高 端 配置 的 预期 性 能 参数 。 


7.3.6 性 能 调谐 


分 析 性 能 数据 有 助 于 逐步 减少 对 性 能 结果 产生 影响 的 参数 ， 提 高 性 能 。 一 旦 参数 压缩 到 
少数 几 个 后 ， 要 对 这 些 参数 的 不 同 取 值 重复 执行 性 能 测试 用 例 ， 进 一 步 分 析 其 作用 ， 获 得 更 
好 的 性 能 。 这 种 性 能 调谐 活动 需要 确定 参数 和 其 对 性 能 的 贡献 方面 的 很 高 技能 。 理 解 每 个 参 
数 及 其 对 产品 的 影响 还 不 足以 进行 性 能 调谐 ， 参 数 的 组 合 也 会 引起 性 能 变化 。 各 种 参数 之 间 
的 关系 及 其 影响 对 于 性 能 调谐 也 是 非常 重要 的 。 

推进 性 能 调谐 包括 两 个 步骤 : 

1. 调谐 产品 参数 ， 

2. 调谐 操作 系统 和 参数 。 

与 产品 关联 的 有 一 组 参数 ， 产 品 的 管理 员 或 用 户 可 以 设置 不 同 的 值 以 获得 优化 性 能 。 有 
些 通用 的 实践 包括 提供 一 些 子 过 程 执行 并 行事 务 处 理 、 缓 存 和 内 存 规模 、 创 建 后 台 活 动 、 推 
迟 例 程 检查 的 时 间 点 、 对 大 量 使 用 的 操作 和 事务 提供 更 高 的 优先 级 、 暂 停 低 优先 级 操作 、 改 
变 一 组 操作 的 顺序 或 组 合 以 适应 可 用 的 资源 等 。 对 这 些 参数 设置 不 同 的 取 值 可 提高 产品 性 能 。 
独立 和 组 合 的 产品 参数 都 对 产品 性 能 有 影响 。 因 此 完成 以 下 工作 是 很 重要 的 : 

1. 针对 影响 性 能 的 每 个 参数 的 不 同 取 值 重复 性 能 测试 (在 改变 一 个 参数 时 ， 可 能 要 保持 
其 他 参数 值 不 变 )。 

2. 有 时 当 一 个 特定 参数 值 被 改变 时 ， 需 要 改变 其 他 参数 (因为 有 些 参 数 相互 关联 )。 对 参 
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数组 及 其 不 同 取 值 重复 性 能 测试 。 

3. 对 所 有 参数 的 默认 值 重复 性 能 测试 (叫做 工厂 设置 测试 )。 

4. 对 每 个 参数 及 其 组 合 的 高 值 和 低 值 重复 性 能 测试 。 

在 产品 参数 调谐 时 有 一 点 非常 重要 。 性 能 测试 只 能 对 特定 的 配置 和 特定 的 事务 得 到 更 好 
的 结果 ， 可 以 达到 较 好 的 性 能 目标 ， 但 是 可 能 会 对 功能 或 某 些 非 功能 特性 产生 副作用 。 因 此 ， 
调谐 对 其 他 情况 或 场景 可 能 会 使 生产 率 下 降 。 需 要 分 析 这 种 调谐 产品 参数 的 副作用 ， 这 种 副 
作用 也 应 该 包含 在 性 能 调谐 分 析 活 动 中 。 

调谐 操作 系统 参数 是 获得 更 好 性 能 的 另 一 步骤 。 操 作 系 统 提 供 不 同 类 别 的 各 种 参数 集 。 
使 用 随 操 作 系 统一 起 提供 的 工具 (例如 可 以 使 用 regedit.exe 编 辑 修改 MS-Windows 注 册 表 ) 可 
以 改变 这 些 取 值 。 操 作 系 统 中 的 这 些 参数 在 不 同 的 大 类 下 分 组 ， 解 释 这 些 参数 的 影响 : 

1. 与 文件 系统 有 关 的 参数 (例如 允许 打开 的 文件 数 )。 

2. 硬盘 管理 参数 (例如 硬盘 同时 读 / 写 )。 

3. 内 存 管理 参数 (例如 虚拟 内 存 页 面 尺 寸 和 页 面 数 )。 

4. 处 理 器 管理 参数 (例如 启用 /禁用 多 处 理 器 环境 中 的 处 理 器 )。 

5. 网 络 参数 (例如 设置 TCP/IP 超 时 )。 

前 面 介绍 过 ， 不 仅 单个 参数 ， 而 且 参 数 的 组 合 都 会 对 产品 性 能 产生 不 同 的 作用 。 与 以 前 
一 样 ， 性 能 测试 要 对 操作 系统 单个 参数 和 参数 组 合 的 不 同 取 值 重复 性 能 测试 。 在 重复 测试 时 ， 
需要 在 完成 应 用 程序 /产品 的 调谐 后 再 调谐 操作 系统 参数 。 

调谐 操作 系统 参数 提高 产品 性 能 时 还 有 重要 的 一 点 需要 注意 。 在 调谐 参数 的 机 器 上 ， 可 
能 有 多 个 产品 和 应 用 程序 在 运行 。 因 此 ， 调 谐 操作 系统 参数 可 能 使 被 测 产 品 得 到 更 好 的 结果 ， 
但 是 有 可 能 对 运行 在 同一 台 机 器 的 其 他 产品 产生 严重 影响 。 因 此 ， 只 有 当 完 全 了 解 操作 系统 
参数 对 运行 在 该 机 器 上 所 有 应 用 程序 的 影响 后 才能 调谐 操作 系统 参数 ， 否 则 除非 对 大 幅度 提 
高 性 能 绝对 必要 ， 不 要 调谐 操作 系统 参数 。 如 果 调 谐 操 作 系 统 参数 只 能 得 到 性 能 少量 提高 ， 
则 不 要 调谐 。 

通常 有 多 个 平台 可 以 支持 产品 。 因 此 ， 性 能 调谐 规程 应 该 考虑 操作 系统 参数 及 其 对 支持 
产品 的 所 有 平台 的 影响 。 

图 7-4 给 出 的 图 表 是 性 能 调谐 活动 取得 结果 的 例子 。 在 图 7-4 中 ， 预 期 结果 (性 能 需求 )、 
调谐 前 的 性 能 结果 (正常 线 ) 和 调谐 后 的 性 能 结果 ( 较 高 的 线 ) 画 在 了 一 起 ， 有 助 于 分 析 针 
对 各 种 可 用 的 资源 ， 例 如 CPU 和 内 存 调 谐 的 效果 。 这 些 测试 用 例 也 可 以 对 不 同 负载 条 件 重 复 
执行 ， 再 画 另 外 一 组 性 能 数据 点 。 
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图 7-4 性 能 调谐 结果 曲线 


从 图 7-4a 的 吞吐 率 曲线 可 以 看 出 ， 对 性 能 的 预期 在 调谐 到 32 个 CPU 配置 后 得 到 满足 ， 到 
了 64 个 CPU 配置 时 产品 出 现 问题 。 从 图 7-4b 的 响应 时 间 曲 线 可 以 看 出 ， 调 谐 前 后 都 满足 预期 ， 
只 要 内 存 达到 128MB 或 以 上 。 如 果 不 能 满足 预期 ， 则 需要 分 析 并 解决 存在 的 问题 。 参 见 彩 图 。 

性 能 调谐 结果 通常 以 一 种 叫做 “性 能 调谐 指南 ”的 形式 发 布 ， 以 便 客户 从 性 能 测试 活动 
中 受益 。 这 种 指南 详细 解释 每 个 产品 和 操作 系统 参数 对 性 能 的 作用 ， 并 给 出 一 组 参数 组 合 的 
指导 值 ， 以 及 在 什么 情况 下 必须 调谐 什么 参数 ， 以 及 关于 错误 调谐 可 能 带 来 问题 的 警告 。 


7.3.7 性 能 基准 测试 


性 能 基准 测试 将 产品 事务 处 理 的 性 能 与 竞争 对 手 的 进行 对 比 。 没 有 两 个 产品 能 够 用 同样 的 
体系 结构 、 设 计 、 功 能 和 代码 。 客 户 和 部 署 类 型 也 会 不 同 。 因 此 ， 在 这 些 方面 比较 两 个 产品 是 
非常 困难 的 。 最 终 用 户 事务 或 场景 可 以 是 一 种 比较 方法 。 一 般 来 说 ， 由 独立 测试 团队 或 与 被 比 
较 产 品 的 组 织 没 有 关系 的 独立 公司 实施 性 能 基准 测试 ， 这 样 可 以 避免 将 偏见 引入 测试 。 为 了 使 
测试 成 功 ， 实 施 性 能 基准 负 试 的 人 需要 被 比较 产品 的 专业 知识 。 性 能 基准 测试 的 步骤 是 ， 

1. 确定 事务 或 场景 以 及 测试 配置 。 

2. 比较 不 同 产品 的 性 能 。 

3. 公正 地 调谐 被 比较 产品 的 参数 ， 达 到 最 佳 性 能 。 

4. 发 布 性 能 基准 测试 结果 。 

前 面 已 经 介绍 过 ， 作 为 第 一 步 ， 选 择 可 比较 (对 等 ) 的 事务 和 场景 进行 性 能 基准 测试 。 
通常 配置 细节 早 就 预先 确定 ， 因 此 测试 用 例 不 针对 配置 重复 执行 。 一 般 来 说 ， 所 有 被 比较 产 
品 的 测试 用 例 要 在 同一 个 测试 床上 执行 。 但 是 要 考虑 用 两 三 套 配置 完成 性 能 基准 测试 ， 以 保 
证 测试 能 够 提供 覆盖 现实 场景 所 需 的 宽度 。 

一 旦 测试 执行 后 ， 下 一 步 就 是 比较 结果 。 这 时 对 被 比较 产品 的 理解 成 为 关键 。 完 成 这 种 
测试 的 人 需要 对 所 有 产品 具备 同样 层次 的 专业 知识 。 各 种 产品 的 可 调谐 参数 可 能 完全 不 同 ， 
理解 这 些 参数 及 其 对 性 能 的 影响 ， 对 于 得 到 公正 的 比较 结果 是 非常 重要 的 。 经 过 精心 调谐 的 
产品 A 可 能 会 与 没有 经 过 参数 调谐 的 产品 B 进 行 比较 ， 以 证 明 产品 A 的 性 能 比 B 好 。 重 要 的 是 
在 性 能 基准 测试 中 ， 所 有 产品 的 调谐 都 应 该 在 同一 层次 上 。 

从 具体 产品 的 视点 看 ， 性 能 基准 测试 可 以 有 三 种 结果 。 第 一 种 结果 是 正面 的 ， 在 一 组 事 
务 和 场景 上 超过 竞争 对 手 的 产品 。 第 二 种 结果 是 中 性 的 ， 在 一 组 事务 上 与 竞争 对 手 的 产品 相 
当 。 第 三 种 结果 是 负面 的 ， 在 一 组 事务 和 场景 上 劣 于 竞争 对 手 的 产品 。 第 三 种 结果 对 于 产品 
的 成 功 是 有 害 的 ， 因 此 要 由 产品 公司 在 内 部 使 用 同样 的 配置 针对 这 组 事务 实施 上 市 已 经 介绍 
过 的 性 能 调谐 活动 。 如 果 在 这 种 情况 下 调谐 有 效 ， 则 至 少 有 助 于 缓解 失败 危机 ， 人 否则 就 要 解 
决 性 能 缺陷 ， 并 再 次 执行 性 能 基准 测试 测试 用 例 的 一 个 子 集 。 即 使 在 第 三 种 结果 时 需要 重复 
实施 调谐 活动 ， 但 是 并 不 只 限于 第 三 种 结果 的 情况 。 性 能 调谐 可 以 对 正面 、 中 性 和 负面 所 有 
情况 重复 实施 ， 以 得 到 最 佳 的 性 能 结果 。 重 复 性 能 调谐 并 不 总 是 可 能 的 。 如 果 中 立 代理 参与 ， 
他 们 可 能 只 进行 对 等 比较 测试 ， 可 能 不 进行 调谐 。 在 这 种 情况 下 ， 测 试 团队 需要 重复 执行 测 
试用 例 。 

要 发 布 性 能 基准 测试 的 结果 。 有 两 种 类 型 的 发 布 。 一 种 是 内 部 发 布 ， 只 对 产品 团队 秘密 
发 布 ， 包 括 以 上 提 到 的 所 有 三 种 结果 ， 以 及 建议 采取 的 措施 。 性 能 基准 测试 的 正面 结果 通常 
作为 间接 市 场 开 发 手段 发 布 ， 用 作 产 品 的 销售 工具 。 由 独立 公司 得 出 的 基准 也 作为 比 对 对 象 
发 布 。 
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7.3.8 能 力 策划 


如 果 要 对 多 种 配置 实施 性 能 测试 ， 那 么 有 大 量 数据 和 分 析 结 果 可 以 用 来 预测 特定 一 组 事 
务 和 负载 模式 所 需 的 配置 。 这 种 逆向 过 程 就 是 能 力 策划 的 目标 。 性 能 配置 测试 要 针对 不 同 的 
配置 实施 并 获得 性 能 数据 。 在 能 力 策划 中 ， 性 能 需求 和 性 能 测试 结果 是 输入 需求 ， 并 导出 满 
足 这 组 需求 所 需 的 配置 。 

能 力 策划 需要 清楚 地 理解 事务 和 场景 对 应 的 资源 需求 。 产 品 有 些 与 一 定 负载 条 件 关联 的 
事务 包括 大 量 使 用 硬盘 ， 有 些 大 量 使 用 CPU， 有 些 大 量 使 用 网 络 ， 还 有 些 大 量 使 用 内 存 。 有 
些 事务 可 能 需要 这 些 条 件 的 组 合 才能 得 到 较 好 的 性 能 。 这 种 对 每 种 事务 需要 什么 资源 的 理解 
是 实施 能 力 策划 的 前 提 。 

如 果 能 力 策划 要 确定 事务 和 特定 负载 模式 的 合适 配置 ， 那 么 下 一 个 问题 就 是 如 何 确定 负 
载 模式 。 负 载 可 以 是 客户 当前 (短期 ) 需要 的 实际 需求 ， 也 可 能 是 下 几 个 月 〈 中 期 ) 的 需求 ， 
也 可 能 是 未 来 儿 年 (长 期 ) 的 需求 。 由 于 负载 模式 随 未 来 需求 变化 ， 因 此 在 做 能 力 策划 时 考 
虑 到 这 些 需求 是 至 关 重 要 的 。 对 应 短期 、 中 期 和 长 期 需求 的 能 力 策划 分 别 叫做 : 

1. 最 低 要 求 配置 

2. 典型 配置 

3. 特殊 配置 

最 低 要 求 配置 表示 低 于 这 种 配置 ， 产品 其 至 都 不 能 运行 。 因此， 一 般 不 支持 低 于 最 低 要 
求 配置 的 配置 。 典 型 配置 表示 在 这 种 配置 下 ， 产 品 能 够 不 错 地 运行 ， 满 足 所 要 求 负载 模式 的 
性 能 需求 ， 并 且 可 以 应 对 该 负载 模式 略 有 加 强 的 情况 。 特 殊 配 置 表示 能 力 策 划 结 论 是 在 考虑 
了 未 来 所 有 需求 的 情况 下 得 出 的 。 

在 能 力 策划 中 ， 有 两 种 技术 起 主要 作用 ， 即 负载 平衡 和 高 可 用 性 。 负 载 平 衡 保证 能 够 平 
等 使 用 多 台 机 器 ， 为 事务 提供 服务 。 这 样 ， 可 以 通过 增加 更 多 的 计算 机 ， 产 品 可 以 承担 更 多 
的 负载 。 计 算 机 徐 可 以 用 来 提供 可 用 性 。 在 计算 机 竹中 ， 在 多 台 计 算 机 之 间 共 享 数 据 ， 使 得 
一 台 计 算 机 出 现 问 题 时 ， 事 务 可 以 由 计算 机 徐 内 的 另 一 台 计 算 机 处 理 。 在 进行 能 力 策划 时 ， 
要 考虑 负载 平衡 和 可 用 性 要 素 ， 以 描述 所 需 的 配置 。 

绝 大 多 数 能 力 策划 活动 只 是 对 数据 作 解 释 ， 并 就 已 有 信息 进行 外 推 。 对 性 能 测试 结果 分 
析 或 外 推 中 的 微小 错误 都 会 导致 产品 部 署 后 实际 使 用 预期 的 偏差 。 不 仅 如 此 ， 能 力 策划 的 基 
础 是 在 实验 室 采 集 的 性 能 测试 数据 ， 这 只 是 模拟 环境 。 在 实际 部 署 中 ， 还 有 一 些 其 他 参数 会 
影响 产品 性 能 。 由 于 有 这 些 不 可 见 的 因素 ， 除 了 前 面 提 到 的 技能 ， 完 成 能 力 策划 还 需要 真实 
世界 数据 和 使 用 模式 方面 的 经 验 。 


7.4 性 能 测试 工具 


有 两 类 工具 可 以 用 于 性 能 测试 ， 一 类 是 功能 性 能 工具 ， 一 类 是 负载 测试 工具 。 

功能 性 能 工具 用 于 记录 并 回放 事务 ， 获 取 性 能 数据 。 这 类 测试 一 般 需 要 很 少 的 计算 机 。 

负载 测试 工具 为 性 能 测试 模拟 负载 条 件 ， 不 需要 使 用 很 多 用 户 或 计算 机 。 负 载 测试 工具 
简化 了 创建 负载 的 复杂 性 。 如 果 没 有 这 类 负载 测试 工具 ， 可 能 就 不 能 实施 这 类 测试 。 正 如 前 
面 介绍 过 的 ， 这 只 是 模拟 的 负载 ， 现 实情 况 可 能 与 模拟 情况 有 出 入 。 

以 下 给 出 一 些 流行 的 性 能 测试 工具 : 

。 功能 性 能 工具 
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加 Mercury 公 司 的 WinRunner 
加 Compuware 公 司 的 QA Partner 
上 四 Segue 公 司 的 Silktest 
。 负载 测试 工具 
田 Mercury 公 司 的 Load Runner 
四 Compuware 公 司 的 QA Load 
四 Segue 公 司 的 Silk Performer 
有 很 多 销售 这 些 性 能 工具 的 供 货 商 。 本 书 最 后 的 参考 文献 给 出 了 一 些 流行 的 工具 。 
性 能 和 负载 工具 只 能 帮助 获得 性 能 数据 。 资 源 的 使 用 是 另 一 个 需要 采集 的 参数 。 
Windows 的 任务 管理 器 和 Linux 的 top 都 是 可 以 帮助 采集 资源 使 用 信息 的 工具 。 今 天 的 几乎 所 有 
操作 系统 都 提供 能 够 采集 网 络 数据 的 网 络 性 能 监视 工具 。 


7.5 性 能 测试 的 过 程 


性 能 测试 的 过 程 与 所 有 其 他 测试 类 型 的 过 程 一 样 。 唯 一 的 差别 是 采集 的 信息 详细 和 更 多 的 
分 析 。 前 面 已 经 介绍 过 ， 性 能 测试 需要 的 工作 量 更 大 ,一般 需要 重复 测试 多 次 。 所 增加 的 工 
作 量 反 映 成 本 的 增加 ， 因 为 性 能 测试 所 需 的 资源 相当 多 。 性 能 测试 的 一 个 主要 挑战 是 使 用 合 
适 的 过 程 以 最 大 程度 地 降低 工作 量 。 图 7-5 试 图 通过 一 个 简单 的 性 能 测试 过 程 说 明 这 个 问题 。 





图 7-5 性 能 测试 过 程 


不 断 变化 的 性 能 需求 是 对 产品 的 一 种 严重 威胁 ， 因 为 修改 代码 只 能 在 一 定 程度 上 提高 性 
能 。 前 面 已 经 介绍 过 ， 绝 大 多 数 性 能 问题 需要 修改 体系 结构 和 设计 ， 或 推倒 重 来 。 因 此 ， 重 
要 的 是 在 生存 周期 的 早期 采集 并 描述 性 能 需求 ， 因 为 在 生存 周期 的 后 期 修改 体系 结构 和 设计 
代价 极 高 。 在 采集 性 能 测试 的 需求 时 ， 重 要 的 是 要 确定 其 是 否 可 测试 ， 也 就 是 说 ， 要 保证 性 
能 需求 是 量化 的 ， 能 够 客观 地 确认 。 如 果 是 这 样 ， 就 将 量化 了 的 性 能 预期 写 入 文档 。 使 需求 
可 测试 、 可 度量 是 性 能 测试 成 功 所 需 的 第 一 个 活动 。 

性 能 测试 过 程 的 下 一 个 步骤 是 编写 测试 计划 。 测 试 计划 需要 包含 以 下 内 容 : 

1. 资源 需求 需要 将 性 能 测试 所 需 的 特殊 额外 资源 列 人 计划 并 落实 。 通 常 ， 先 获取 这 些 资 
源 、 在 性 能 测试 中 使 用 、 在 性 能 测试 结束 后 释放 这 些 资 源 。 因 此 ， 资 源 应 该 是 策划 工作 的 一 
部 分 ， 并 进行 跟踪 。 
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2. 建立 测试 床 (模拟 的 和 真实 的 ) 、 测 试 实 验 室 要 在 执行 之 前 建立 具有 所 有 所 需 设备 和 
软件 配置 的 测试 实验 室 。 性 能 测试 需要 大 量 资源 和 特殊 配置 。 因 此 ， 建 立 模拟 和 真实 的 环境 
是 很 耗费 时 间 的 ， 建 立 测 试 床 中 出 现 的 错误 可 能 意味 着 整个 性 能 测试 都 得 重新 进行 。 因 此 ， 
建立 测试 床 必须 是 策划 工作 的 一 部 分 ， 并 进行 跟踪 。 

3. 责任 前 面 说 过 ， 性 能 缺陷 可 能 会 造成 体系 结构 、 设 计 和 代码 的 修改 。 此 外 ， 面 对 客户 
的 团队 一 般 需 要 就 性 能 进行 沟通 。 性 能 测试 执行 的 成 功 涉及 多 个 团队 ， 如 果 要 满足 性 能 目标 ， 
所 有 团队 和 不 同 岗 位 的 人 员 要 一 起 工作 。 因 此 ， 必 须 将 编制 责任 矩阵 作为 性 能 测试 计划 的 一 
部 分 ， 并 对 全 体 团队 进行 宣传 和 贯彻 。 

4. 建立 (内 部 和 外 部 的 ) 产品 跟踪 和 审计 性 能 测试 结果 要 形成 跟踪 记录 ， 以 便 分 析 测试 
结果 和 缺陷 。 要 预先 策划 应 跟踪 的 内 容 ， 并 作为 测试 计划 的 一 部 分 。 这 些 工 作 要 预先 完成 ， 
因为 跟踪 的 内 容 过 多 可 能 会 开始 影响 性 能 结果 。 

5. 进入 和 退出 准则 由 于 性 能 测试 有 复杂 性 和 准确 性 要 求 ， 因 此 需要 稳定 的 产品 。 对 产品 
的 变更 会 影响 性 能 数据 ， 可 能 意味 着 必须 重新 进行 测试 。 在 产品 稳定 之 前 或 还 在 修改 当中 ， 
执行 性 能 测试 用 例 效率 很 低 。 因 此 ， 性 能 测试 的 执行 一 般 要 在 产品 满足 一 组 准则 之 后 进行 。 
这 组 要 满足 的 准则 作为 性 能 测试 计划 的 一 部 分 ， 预 先 定义 并 形成 文档 。 类 似 地 ， 还 要 定义 一 
组 退出 准则 ， 以 总 结 性 能 测试 结果 。 

设计 和 自动 化 测试 用 例 是 性 能 测试 过 程 的 下 一 个 步骤 。 自 动 化 问题 值得 单独 讨论 ， 因 为 
如 果 没 有 自动 化 就 几乎 不 能 执行 性 能 测试 。 

进入 和 退出 准则 在 性 能 测试 执行 过 程 中 有 重要 作用 。 在 产品 开发 期 间 ， 要 定期 评估 进入 
准则 ， 如 果 达 到 准则 要 求 就 启动 测试 。 每 个 性 能 测试 用 例会 有 独立 的 准则 。 需 要 定期 评估 进 
入 准则 ， 因 为 启动 测试 过 早 效 率 很 低 ， 启 动 过 晚 可 能 意味 着 在 发 布 之 前 难以 达到 性 能 目标 。 
性 能 测试 执行 结束 时 ， 要 对 产品 进行 评估 ， 看 其 是 否 满足 所 有 人 退出 准则 。 如 果 有 些 准 则 没有 
满足 ， 则 要 对 产品 进行 改进 ， 重 新 执行 对 应 退出 准则 的 测试 用 例 ， 目 标 是 弥补 差距 。 这 个 过 
程 反 复 进行 ， 直 到 所 有 退出 准则 都 得 到 满足 。 

由 于 涉及 的 要 素 〈 即 成 本 、 工 作 量 、 时 间 和 有 效 性 ) 都 很 重要 ， 因 此 ， 以 上 介绍 的 每 个 
性 能 测试 过 程 步骤 都 很 关键 。 保 持 强 有 力 的 性 能 测试 过 程 能 够 得 到 很 高 的 回报 。 


7.6 挑战 


性 能 测试 在 测试 界 是 一 个 没有 被 很 好 理解 的 课题 。 对 于 性 能 测试 有 多 种 解释 。 有 些 公司 将 
性 能 测试 与 负载 测试 分 开 ， 在 不 同 的 测试 阶段 实施 。 在 有 些 情况 下 这 样 做 可 能 会 取得 成 功 ， 但 
是 有 时 将 其 分 开会 引起 复杂 化 。 当 需要 与 负载 测试 数据 比较 功能 性 能 数据 时 ， 由 于 所 用 的 版 本 
不 同 ， 且 由 于 在 两 个 不 同 的 阶段 实施 测试 造成 时 间 进 度 的 不 同 (由 于 时 间 进 度 的 不 同 ， 产 品 的 
质量 也 会 不 同 ) ， 完 成 这 种 比较 是 很 困难 的 。 在 这 种 情况 下 ， 进 行 对 等 比较 是 不 可 能 的 。 

是 否 具备 所 需 的 技能 是 性 能 测试 面临 的 一 个 重要 问题 。 本 章 多 次 提 到 ， 产 品 知识 、 竞 争 
对 手 产 品 的 知识 、 工 具 的 使 用 、 测 试用 例 自动 化 、 过 程 、 统 计 知识 和 分 析 技 能 都 是 实施 性 能 
测试 所 需要 的 。 到 目前 为 止 所 介绍 的 任何 测试 类 型 所 需 的 技能 都 没有 这 样 多 。 工 程 师 在 这 些 
技能 上 着 眼 于 性 能 测试 长 远 发 展 的 培训 ， 有 助 于 满足 技能 方面 的 要 求 。 

性 能 测试 需要 大 量 资源 ， 例 如 硬件 、 软 件 、 工 作 量 、 时 间 、 工 具 和 人 员 ， 连 大 公司 也 会 
发 现 缺少 满足 性 能 测试 目标 需要 的 资源 。 即 使 有 这 些 资 源 ， 也 只 是 短 时 间 的 。 这 是 性 能 测试 
的 另 一 个 挑战 。 研 究 可 用 的 资源 ， 努 力 满足 尽 可 能 多 的 性 能 测试 目标 是 执行 性 能 测试 的 团队 
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所 期 望 的 。 

性 能 测试 结果 需要 反映 现实 环境 和 预期 。 由 于 工具 只 能 模拟 环境 ， 建 立 能 够 在 受 控 状 态 
下 运行 的 测试 实验 室 、 创 建 如 客户 所 做 的 那样 并 不 是 所 有 字段 都 有 内 容 的 数据 包 、 在 真实 的 
客户 部 署 中 复 现 性 能 测试 结果 ， 是 很 大 的 挑战 。 创 建 与 客户 部 署 接 近 的 测试 床 是 性 能 测试 另 
一 项 预期 。 

选择 合适 的 工具 进行 性 能 测试 是 另 一 个 挑战 。 现 在 有 很 多 性 能 测试 工具 ， 但 并 不 是 所 有 
工具 都 满足 所 有 需求 。 不 仅 如 此 ， 人 性 能 测试 工具 很 昂贵 ， 并 且 需 要 额外 的 资源 安装 和 使 用 。 
性 能 测试 工具 还 要 求 测试 工程 师 学 习 额 外 的 元 语言 和 脚本 。 这 对 性 能 测试 又 提出 一 个 挑战 。 

性 能 测试 的 另 一 个 挑战 是 包括 客户 在 内 的 不 同 团 队 的 相互 接口 。 不 仅 客户 ， 技 术 人 员 和 
开发 团队 也 会 提出 性 能 测试 需求 。 实 施 性 能 测试 是 为 了 满足 客户 、 体 系 结构 设计 师 和 开发 团 
队 的 预期 。 从 商业 意义 看 ， 产 品 性 能 需要 赶 上 竞争 对 手 的 产品 性 能 。 随 着 预期 从 各 个 方向 增 
长 ， 很 难 一 次 满足 所 有 预期 。 如 果 要 满足 其 绝 大 多 数 性 能 预期 ， 需 要 持续 努力 。 

管理 层 和 开发 团队 对 性 能 测试 不 够 重视 是 另 一 个 挑战 。 产 品 的 所 有 功能 都 正常 运行 后 ， 大 
家 就 认为 产品 已 经 可 以 交付 了 。 由 于 已 经 介绍 过 的 各 种 原因 ， 性 能 测试 需要 在 功能 稳定 以 后 
实施 ， 性 能 测试 发 现 的 缺陷 需要 管理 层 非常 认真 地 进行 研究 。 由 于 已 经 太 迟 ， 不 能 修改 其 中 
的 一 些 缺 陷 ， 或 由 于 发 布 时 间 的 压力 ， 或 需要 对 设计 和 体系 结构 进行 修改 使 回归 测试 工作 量 
增 大 ， 或 其 他 各 种 原因 ， 一 般 一 些 性 能 缺陷 会 推迟 到 后 续 版 本 解决 。 这 与 性 能 测试 的 目的 背 
道 而 驰 。 成 功 执行 性 能 测试 需要 得 到 高 层 管理 对 在 产品 发 布 之 前 修改 性 能 缺陷 的 承诺 和 指示 。 


问题 与 练习 


1. 在 以 下 情况 中 ， 哪 种 性 能 要 素 可 能 最 重要 ? 

a. 每 天 白天 下 班 后 银行 要 处 理 所 有 事务 ， 夜 里 完成 现金 对 账 。 

b. 到 银行 的 用 户 应 该 在 5 分 钟 内 完成 其 事务 处 理 。 

c. 用 户 通过 没有 处 理 能 力 的 客户 机 访问 远程 文件 系统 ， 并 输入 一 个 文件 名 。 由 于 处 理 是 在 
远程 服务 器 上 完成 的 ， 用 户 输入 的 每 个 字符 都 要 发 送 给 服务 器 并 返回 过 来 。 

2. 每 个 产品 都 有 不 同 的 调谐 参数 。 对 于 以 下 每 种 情况 ， 请 确定 重要 的 调谐 参数 ， 应 该 从 哪 种 
文档 /资源 找 出 这 些 参 数 ? 

a. 操作 系统 (例如 Windows XP) 
b. 数据 库 (例如 Oracle) 
c. 网 卡 (例如 无 线 LAN 卡 ) 

3. 采集 性 能 测试 需求 与 采集 比方 说 黑 盒 功 能 测试 需求 有 什么 不 同 ? 通过 所 使 用 的 资源 、 方 法 、 
工具 和 所 需 的 技能 区 分 。 

4. 软件 大 多 数 类 型 产品 像 数据 库 、 网 络 等 ， 都 有 标准 的 性 能 基准 。 例 如 ，TPCB 基 准 刻 画 了 事 
务 率 。 请 查询 因特网 ， 就 各 种 类 型 的 数据 库 事 务 、 编 译 器 和 其 他 自己 感 兴 趣 软件 的 行业 标 
准 基 准 整 理 一 份 报告 。 

5. 市 场 上 有 一 些 性 能 测试 自动 化 工具 。 从 自己 的 公司 角度 考虑 ， 请 准备 一 份 针 对 自己 对 性 能 
测试 自动 化 工具 预期 的 检查 单 。 使 用 这 份 检查 单 对 各 种 可 以 得 到 的 自动 化 工具 进行 比较 。 
6. “人 工 进 行 性 能 测试 是 最 困难 的 工作 ”一 一 请 根据 所 需 的 技能 、 态 度 和 其 他 方面 对 这 和 句 话 

作出 判断 。 
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8.1 回归 测试 的 定义 








医生 : 茶 喜 你 !. 给 你 造成 痛苦 并 影响 你 消化 的 胃 满 疡 现在 已 经 
彻底 治愈 了 ! 

病人 : 好 的 ， 医 生 。 可 是 我 的 口腔 演 疡 太 严 重 了 ,什么 都 不 能 
吃 ， 所 以 还 是 什么 也 消化 不 了 。 














软件 在 不 断 修改 。 这 些 修改 是 必要 的 ， 因 为 要 改正 缺陷 ， 要 增强 现 有 功能 ， 要 增加 新 的 
功能 。 任 何 时 候 做 这 种 修改 时 ， 重 要 的 是 要 保证 : 

1. 按照 设计 进行 修改 或 补充 ， 

2. 修改 或 补充 不 能 对 已 经 有 效 的 内 容 造 成 破坏 ， 而 且 继 续 有 效 。 

回归 测试 就 是 要 达到 以 上 两 个 目的 。 首 先 举 一 个 简单 的 例子 进行 说 明 。 





假设 某 个 产品 的 给 定 版 本 中 有 三 个 缺陷 D1、D2 和 D3。 报 告 这 些 
缺陷 后 ， 开 发 团队 将 修改 这 些 缺 陷 ， 测 试 团 队 将 进行 测试 以 保证 这 些 
缺陷 确实 已 经 修改 。 当 客户 开始 使 用 该 产品 (经 过 修改 以 清除 缺陷 D1、 
D2 和 D3) 时 ， 可 能 会 遇 到 新 的 缺陷 D4 和 D5。 开 发 和 测试 团队 再 次 进 
行 修改 ， 并 测试 这 些 新 缺陷 的 修改 情况 。 但 是 ， 在 修改 D4 和 D5 过 程 
中 ， 由 于 无 意识 的 副作用 ，D1 可 能 又 出 现 了 。 因 此 ， 测 试 团队 应 该 不 仅 保证 修改 需要 修改 的 
缺陷 ， 还 要 关注 不 能 影响 其 他 所 有 已 经 有 效 的 内 容 。 

回归 测试 使 测试 团队 能 够 满足 这 个 目标 。 回 归 测 试 在 今天 是 很 重要 的 ， 因 为 软件 的 发 布 
非常 频繁 ， 以 满足 竞争 的 要 求 ， 提 高 客户 的 认可 度 。 迅 速 和 频繁 地 发 布 并 交付 稳定 的 软件 是 
对 软件 公司 最 基本 的 要 求 。 回 归 测 试 要 保证 任何 引入 现 有 产品 的 新 特性 不 会 反 过 来 影响 当前 
的 功能 。 

回归 测试 采用 有 选择 性 的 重 测 技术 。 每 次 完成 对 缺陷 的 修改 ， 测 试 团 队 都 要 选择 一 组 需 
要 运行 以 检验 缺陷 修改 情况 的 测试 用 例 。 要 进行 影响 分 析 ， 以 确定 由 于 这 些 缺 陷 修改 会 受 影 
响 的 区 域 。 根 据 影响 分 析 ， 再 选择 更 多 的 测试 用 例 来 关注 受 影响 的 区 域 。 由 于 这 种 测试 技术 
关注 已 经 执行 过 的 现 有 测试 用 例 的 重用 ， 因 此 叫做 有 选择 性 的 重 测 。 有 时 还 可 能 需要 开发 新 
的 测试 用 例 ， 以 关注 一 些 受 影响 的 区 域 。 但 是 ， 回 归 测 试 主要 还 是 重用 已 有 的 测试 用 例 ， 因 
为 回归 测试 关注 测试 已 经 可 用 并 至 少 已 经 测试 过 一 次 的 特性 。 


8.2 回归 测试 的 类 型 


在 介绍 回归 测试 的 类 型 之 前 ， 首 先 要 理解 “版 本 ”的 含义 。 当 内 部 或 外 部 测试 团队 或 客 
户 开始 使 用 产品 时 会 报告 发 现 的 缺陷 。 这 些 缺 陷 要 经 过 每 个 负责 修改 缺陷 的 开发 人 员 的 分 析 。 
然后 开发 人 员 再 进行 单元 测试 ， 并 将 缺陷 修改 装 入 配置 管理 (CM) 系统。 然后 对 完整 产品 的 


回归 测试 要 保证 增 
强 型 或 改正 型 修改 使 软 
件 正常 运行 ， 并 且 不 影 
响 已 有 的 功能 。 
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源 代 码 进行 编译 ， 这 些 缺 陷 修改 以 及 现 有 特性 都 纳入 版 本 中 。 因 此 ， 版 本 就 是 产品 所 提供 的 
所 有 缺陷 修改 和 特性 的 集合 。 

实践 中 有 两 种 类 型 的 回归 测试 : 

1. 常规 回归 测试 

2. 最 终 回 归 测 试 

常规 回归 测试 在 测试 周期 之 间 进行 ， 保 证 缺陷 修改 已 经 完成 ， 以 前 测试 周期 已 经 有 效 的 
功能 继续 有 效 。 常 规 回归 测 试 可 以 对 多 个 产品 版 本 执行 测试 用 例 。 

“最 终 回归 测试 ”要 在 发 布 前 确认 最 终 的 版 本 。 配 置 管理 工程 师 提交 要 交付 给 客户 的 版 本 ， 
包括 介质 和 其 他 内 容 。 最 终 回归 测试 周期 要 在 开发 和 测试 团队 共同 约定 的 具体 时 间 段 内 进行 。 
这 叫做 回归 测试 的 “ 误 饪 时 间 "。 误 饪 时 间 对 于 持续 测试 产品 一 段 时间 是 必要 的 ， 因 为 有 些 缺 
陷 (例如 内 存 泄漏 ) 只 有 在 用 过 一 段 时 间 后 才能 发 现 。 产 品 要 在 豪 饪 时 间 内 持续 运行 ， 以 保 
证 这 类 与 时 间 有 关 的 缺陷 能 够 被 发 现 。 有 些 测试 用 例 重 复 执行 ， 以 发 现 就 要 交付 给 客户 的 最 
终 产 品 是 否 存 在 缺陷 。 发 布 版 的 所 有 缺陷 修改 都 应 该 在 最 终 回归 测试 周期 版 本 中 完成 。 最 终 
回归 测试 比 任何 其 他 类 型 或 阶段 的 测试 都 关键 ， 因 为 这 是 保证 到 达 客户 的 是 经 过 测试 的 版 本 
的 唯一 测试 。 

以 上 讨论 的 回归 测试 类 型 可 用 图 8-1 说 明 。 彩 图 中 的 回归 1 和 回归 2 是 常规 回归 测试 周期 ， 
最 终 回 归 测试 用 最 终 回归 表示 。 











图 8-1 回归 测试 的 类 型 


8.3 回归 测试 的 时 机 


只 要 对 软件 作 了 修改 就 要 进行 回归 测试 ， 以 确保 这 些 修改 不 会 反 过 来 影响 现 有 的 功能 
常规 回归 测试 可 以 对 多 个 版 本 运行 测试 用 例 ， 但 是 ， 我 们 还 是 强 列 建 议 对 没有 变更 的 版 本 作 
最 终 回归 测试 。 由 于 缺陷 而 没有 通过 的 测试 用 例 应 该 纳入 以 后 的 回归 测试 。 

回归 测试 在 测试 周期 之 间 进 行 ， 以 确定 所 提交 的 软件 是 否 与 以 前 收 到 的 版 本 一 样 或 更 好 。 
由 于 测试 需要 大 量 资源 (硬件 、 软 件 和 人 员 )， 因 此 需要 快速 测试 ， 以 评估 版 本 的 质量 和 对 软 
件 的 变更 。 最 初 只 在 回归 测试 中 投入 少数 几 个 人 和 很 少 的 机 器 ， 这 样 可 以 避免 在 缺陷 修改 或 
版 本 处 理 时 ， 影 响 到 现 有 功能 ， 造 成 质量 下 降 的 情况 或 工作 量 的 浪费 。 这 种 副作用 需要 在 大 
量 人 员 投入 测试 之 前 立即 得 到 纠正 。 在 任何 时 候 出 现 这 种 需求 时 就 要 进行 回归 测试 。 


了 722 第 二 部 分 测试 类 型 








当 出 现 以 下 情况 时 要 实施 回归 测试 .: 

1. 相当 多 的 初始 测试 已 经 完成 。 

2. 已 经 修改 了 大 量 缺 陷 。 

3. 关注 了 能 够 产生 副作用 的 缺陷 修改 。 

回归 测试 也 可 以 作为 一 种 主动 方法 定期 实施 。 

正如 第 15 章 将 要 介绍 的 那样 ， 使 用 缺陷 跟踪 系统 在 所 有 有 关 人 员 之 间 就 需求 修改 的 状态 
进行 沟通 。 当 开发 人 员 修 改 一 个 缺陷 后 ， 该 缺陷 就 会 通过 缺陷 跟踪 系统 返回 给 测试 工程 师 进 
行 验证 。 如 果 缺 陷 被 修改 ， 测 试 工 程 师 需 要 采取 恰当 的 措施 关闭 该 缺陷 ， 如 果 还 没有 被 恰当 
地 修改 ， 就 把 它 重 新 打开 。 在 这 个 过 程 中 ， 可 能 忽略 副作用 ， 即 新 版 
本 修改 好 了 特定 的 缺陷 ， 但 是 有 些 以 前 正常 的 功能 现在 却 不 能 用 了 。 
进行 了 一 批 缺 陷 修改 后 就 要 进行 回归 测试 。 为 了 确保 没有 副作用 ， 回 
归 测 试 周 期 还 要 选择 更 多 的 测试 用 例 验证 缺陷 修改 情况 。 因 此 ， 在 测 
试 人 员 能 够 关闭 修改 的 缺陷 之 前 ， 重 要 的 是 保证 执行 合适 的 回归 测试 用 例 ， 并 且 修 改 没 有 产 
生 副 作用 。 启 动 回 归 测 试验 证 缺陷 修改 永远 都 是 一 个 好 的 实践 。 否 则 ， 如 果 以 后 通过 测试 发 
现 有 副作用 或 发 现 功能 损失 ， 就 很 难 确定 是 哪个 缺陷 修改 导致 的 。 

从 以 上 讨论 可 以 清楚 地 看 出 ， 回 归 测 试 既 是 一 种 有 计划 的 测试 活动 ， 也 是 一 种 基于 需要 
的 活动 ， 并 且 要 在 各 个 版 本 和 测试 周期 之 间 进 行 。 因此， 回归 测试 适用 于 软件 开发 生存 周期 
(SDLC) 的 所 有 阶段 ， 也 适用 于 组 件 、 集 成 、 系 统 和 确认 测试 。 

图 8-2 归 纳 了 本 节 讨 论 的 内 容 。 


不 管 产品 处 于 哪个 
测试 阶段 都 可 以 实施 回 
归 测 试 。 






回归 测试 






类 型 
常规 回归 
最 终 回 归 
















完成 且 没 有 副作用 





缺陷 修改 可 能 || 的 修改 
造成 已 有 功能 失效 | ”在 所 有 测试 阶 
段 执行 







图 8-2 回归 测试 小 结 


8.4 回归 测试 的 方法 
回归 测试 定义 完备 的 方法 论 是 非常 重要 的 ， 因 为 回归 测试 是 最 后 一 种 测试 ， 通 常 最 后 在 
一 zearom 发 布 前 实施 。 如 果 回 归 测 试 做 得 不 好 ， 就 会 使 缺陷 漏 掉 ， 可 能 会 使 客 
归 失 效 要 在 周期 
户 面临 测试 团队 没有 发 现 的 严重 问题 。 


ns 
Sp 0 > 有 一 些 回 归 测 试 方法 论 正 被 不 同 的 公司 使 用 。 本 节 的 目的 是 解释 

© EE 章 人 性 e > 人 2 人 ， SA » 
叉 完备 的 今 法 论 能 够 圳 一 种 包含 了 绝 大 多 数 方法 论 内 容 的 方法 论 。 这 里 介绍 的 方法 论 包含 以 
锡 这 种 情况 出 现 。 下 步 跨 。 


1. 实施 第 一 次 “ 冒 烟 ” 或 “完备 性 ”测试 。 
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2. 理解 选择 测试 用 例 的 准则 。 

3. 划分 测试 用 例 的 优先 级 。 

4. 选择 测试 用 例 的 方法 论 。 

5. 重新 设置 测试 用 例 ， 以 进行 回归 测试 。 
6. 总 结 回归 周期 的 结果 。 


8.4.1 实施 第 一 次 “ 冒 烟 ”或 “摸底 ”测试 


只 要 对 软件 作 了 修改 ， 首 先 就 要 保证 没有 破坏 什么 东西 。 例 如 ， 如 果 在 构建 一 个 数据 库 ， 
那么 该 数据 库 的 任何 版 本 都 应 该 能 够 启动 ， 执 行 基本 的 操作 ， 比 如 查询 、 数 据 定义 、 数 据 处 
理 ， 并 可 以 关闭 数据 库 。 此 外 ， 可 能 还 需要 保证 与 其 他 产品 的 关键 接口 也 能 正常 工作 。 这 些 
都 是 应 该 在 对 产品 进行 更 详细 的 测试 之 前 要 做 的 。 例 如 ， 如 果 给 定 版 本 不 能 启动 数据 库 ， 则 
这 个 版 本 之 无 用 处 。 必 须 首 先 修改 代码 ， 解 决 这 个 问题 ， 然 后 才能 考虑 测试 其 他 功能 。 

冒 烟 测试 包括 : 

1. 确定 产品 必须 满足 的 基本 功能 

2. 设计 测试 用 例 ， 确 保 这 些 基本 功能 是 有 效 的 ， 并 将 其 装 入 冒 烟 测试 包 ; 

3. 保证 每 次 构建 产品 时 ， 都 能 在 运行 其 他 测试 之 前 成 功 地 运行 这 个 测试 包 ， 

4. 如 有 果 测 试 包 没有 通过 ， 请 开发 人 员 确 定 该 变更 ， 并 可 能 修改 或 将 该 变更 回 退 到 冒 烟 测 
试 包 成 功 的 状态 。 

”要 保证 最 先 检测 冒 烟 测 试 ， 有 些 公司 要 求 任何 时 候 开 发 人 员 作 了 修改 ， 都 必须 在 将 该 版 
本 纳入 配置 管理 库 之 前 ， 对 该 版 本 成 功 地 运行 冒 烟 测 试 包 。 

产品 中 的 缺陷 不 仅 可 以 通过 代码 引入 ， 也 有 可 能 通过 用 于 编译 和 连接 程序 的 构建 脚本 引 
入 。 冒 烟 测 试 可 以 发 现 由 构建 规程 引入 的 这 类 错误 。 这 个 工作 是 很 重要 的 ， 因 为 研究 表明 ， 
有 15 多 的 缺陷 是 由 配置 管理 或 与 构建 有 关 的 规程 引入 的 ， 如 图 8-3 所 示 。 
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图 8-3 配置 管理 缺陷 


8.4.2 理解 选择 测试 用 例 的 准则 


执行 了 冒 烟 测试 以 后 ， 产 品 就 值得 进一步 详细 测试 了 。 现 在 的 问题 是 ， 应 该 运行 什么 测 
试用 例 ， 以 达到 保证 修改 有 效 和 没有 引起 无 意识 的 副作用 这 双重 目的 。 
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选择 回归 测试 的 测试 用 例 有 两 种 办 法 。 首 先 ， 公 司 可 以 选择 一 组 不 变 的 回归 测试 用 例 ， 
对 每 个 版 本 和 变更 运行 。 在 这 种 情况 下 ， 确 定 要 运行 的 测试 用 例 很 简单 。 但 是 这 种 方法 很 可 
能 不 是 最 优 的 ， 这 是 因为 : 

1. 为 了 覆盖 所 有 修改 ， 不 变 测 试用 例 集 将 包含 所 有 特性 ， 可 能 每 次 都 要 执行 一 些 没 有 要 
求 的 测试 用 例 ， 

2. 缺陷 修改 或 变更 的 一 个 给 定 集合 可 能 会 引入 的 问题 ， 在 不 变 测试 用 例 集中 可 能 还 没有 
现成 的 测试 用 例 能 够 检测 。 因 此 ， 即 使 运行 了 全 部 回归 测试 用 例 ， 所 引入 的 缺陷 会 依然 存在 。 

第 二 种 方法 是 通过 评判 测试 用 例 ， 为 每 个 版 本 动态 地 选择 测试 用 例 。 选 择 回归 测试 的 测 
试用 例 需要 具备 以 下 知识 : 

1. 对 当前 版 本 所 作 的 缺陷 修改 和 变更 

2. 测试 当前 变更 的 方法 ; 

3. 当前 变更 对 系统 其 他 部 件 可 能 产生 的 影响 ， 

4. 测试 其 他 受 影响 部 件 的 方法 。 

以 下 是 选择 回归 测试 测试 用 例 的 一 些 准 则 : 

1. 包含 以 前 发 现 缺陷 最 多 的 测试 用 例 。 

2. 包含 针对 修改 功能 的 测试 用 例 。 

3. 包含 上 次 发 现 问题 的 测试 用 例 。 

4. 包含 测试 客户 要 求 必须 提供 的 产品 基本 功能 或 核心 特性 的 测试 用 例 。 

5. 包含 测试 应 用 软件 或 产品 的 端 到 端 行为 的 测试 用 例 。 

6. 包含 测试 正面 测试 条 件 的 测试 用 例 。 

7. 包含 用 户 能 够 大 量 直接 接触 的 区 域 。 

在 选择 测试 用 例 时 ， 不 要 过 多 选择 肯定 不 会 通过 和 对 缺陷 修改 没有 多 少 关系 的 测试 用 例 。 
对 最 终 回归 测试 周期 要 更 多 地 选择 正面 测试 用 例 ， 而 不 是 负面 测试 用 
例 。 选 择 负面 测 试用 例 一 一 即 故 意 使 系统 瘫痪 的 测试 用 例 一 一 在 确定 
失效 根源 上 会 产生 一 些 困惑 。 这 里 还 建议 回归 测试 前 的 常规 测试 应 包 
含 正面 和 负面 测试 用 例 。 

选择 回归 调试 的 测试 用 例 更 多 地 取决 于 缺陷 修改 的 影响 ， 而 不 是 缺陷 本 身 的 危险 性 。 轻 
微 缺陷 可 能 导致 严重 副作用 ， 对 严重 缺陷 的 修改 可 能 没有 或 有 很 小 的 副作用 。 因 此 ， 测 试 工 
程 师 在 选择 回归 测试 的 测试 用 例 时 需要 综合 考虑 这 些 问 题 。 

选择 回归 测试 的 测试 用 例 是 一 种 持续 的 过 程 。 每 次 要 执行 一 批 回 归 测 试用 例 (又 叫做 回 
归 测 试 床 ) 时 ， 都 要 根据 以 上 条 件 对 测试 用 例 就 其 适用 性 进行 评估 。 


注 缺 陷 修改 的 影响 ， 而 不 





8.4.3 测试 用 例 分 类 


每 轮回 归 测 试 动态 地 选择 了 测试 用 例 后 ， 从 项 目 一 
开始 ， 甚 至 在 测试 周期 之 前 就 


行 0 0 开始 策划 回归 测试 是 很 值得 的 。 
》 “ 1 于 人 回 归 ; | sl 合适 
才 村 证 冯 二 报章 要 次。 小 1 村 一 革 加 内 手记 半 举 守 汪 








的 测试 用 例 ， 可 以 根据 其 重要 
性 和 客户 使 用 情况 ， 把 测试 用 例 按 优先 级 分 类 ， 如 图 
8-4 所 示 。 图 8-4 测试 用 例 的 分 类 一 一 一 个 例子 





锣 8 葛 回 轨 测 茂 125 








。 优先 级 0 这 些 测 试用 例 可 以 叫做 摸底 测试 用 例 ， 用 来 检查 基本 功能 和 进行 进一步 测试 。 
当 对 产品 做 了 重大 变更 后 也 要 执行 这 些 测试 用 例 。 这 些 测试 用 例 对 于 产品 开发 团队 和 
客户 都 具有 很 高 的 项 目 价值 。 

。 优先 级 1 利用 基本 的 和 正常 的 配置 环境 ， 对 于 产品 开发 团队 和 客户 都 具有 高 的 项 目 价值 。 

。 优 先 级 2 这 些 测试 用 例 具有 中 等 项 目 价 值 。 作 为 测试 周期 的 一 部 分 执行 ， 并 根据 需要 为 
回归 测试 选用 。 


8.4.4 选择 测试 用 例 的 方法 论 


把 测试 用 例 划分 为 不 同 的 优先 级 后 ， 就 可 以 选择 测试 用 例 了 。 有 多 种 回归 测试 的 合适 方 
法 ， 需 要 具体 情况 具体 分 析 。 业 界 已 有 多 种 选择 回归 测试 用 例 的 方法 论 。 本 节 介 绍 的 方法 论 
要 在 按 上 市 讨论 的 把 测试 用 例 划 分 为 多 个 优先 级 后 ， 考 虑 缺陷 修改 的 关键 性 和 影响 程度 。 

情况 1 如 果 缺 陷 修改 的 关键 性 和 影响 程度 很 低 ， 那 么 测试 工程 师 从 测试 用 例 数据 库 
(TCDB) 中 选择 少量 测试 用 例 并 执行 就 足够 了 。( 测 试用 例 数 据 库 保存 可 用 于 测试 产品 的 所 有 
测试 用 例 。 有 关 测 试用 例 数据 库 的 更 多 信息 ， 请 参阅 本 书 的 第 15 章 。) 这 些 测试 用 例 可 以 是 任 
意 优先 级 (0、1 或 2)。 

情况 2 如 果 缺 陷 修改 的 关键 性 和 影响 程度 中 等 ， 则 需要 执行 所 有 优先 级 0 和 优先 级 1 的 测 
试用 例 。 如 果 要 补充 (少量) 优先 级 2 的 测试 用 例 ， 也 可 以 选择 并 用 于 回归 测试 。 在 这 种 情况 
下 ， 选 择优 先 级 2 的 测试 用 例 是 建议 做 的 ， 但 不 是 必须 的 。 

情况 3 如 果 缺 陷 修改 的 关键 性 和 影响 程度 很 高 ， 则 需要 执行 所 有 优先 级 0 和 优先 级 1 的 测 
试用 例 ， 并 从 优先 级 2 中 仔细 选择 一 部 分 测试 用 例 。 

图 8-5 图 示 了 以 上 讨论 的 几 种 情况 。 


图 例 缺陷 修改 
P0 优 先 级 =0 
站 优先 级 = 1 








图 8-5 选择 测试 用 例 的 方法 论 


以 上 方法 论 要 求 分 析 所 有 缺陷 的 缺陷 修改 影响 程度 。 这 个 过 程 可 能 很 费时 。 如 果 有 某 种 
原因 ， 没 有 足够 的 时 间 ， 且 不 进行 影响 程度 分 析 的 风险 很 低 ， 那 么 可 以 考虑 采用 以 下 替代 方 
法 论 : 

。 全 回归 对 于 回归 测试 ， 运 行 全 部 优先 级 0、1 和 2 的 测试 用 例 。 这 意味 着 要 执行 回归 测试 

床 / 包 中 的 全 部 测试 用 例 。 

。 基于 优先 级 的 回归 基于 全 部 优先 级 0、1 和 2 的 回归 测试 要 根据 合适 的 时 间 ， 按 顺序 执行 

测试 用 例 。 回 归 测 试 的 终止 要 取决 于 合适 的 时 间 。 
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。 回 归 变 更 使 用 这 种 方法 论 的 回归 测试 ， 要 与 上 一 测试 周期 进行 代码 变更 比较 ， 并 根据 
其 对 代码 的 影响 程度 选择 测试 用 例 〈 灰 盒 测 试 ) 。 

。 随机 回归 这 种 回归 方法 论 随机 地 选择 和 执行 测试 用 例 。 

。 基 于 背景 的 动态 回归 选择 少量 优先 级 0 的 测试 用 例 ， 并 根据 这 些 测试 用 例 执行 后 的 情况 
和 结果 分 析 (例如 ， 发 现 了 新 的 缺陷 、 边 界 值 )， 选 择 补充 有 关 的 测试 用 例 ， 继 续 进行 
回归 测试 。 

有 效 的 回归 策略 通常 是 所 有 以 上 方法 论 的 组 合 ， 并 不 一 定 孤 立 使 用 。 


8.4.5 重新 设置 测试 用 例 以 进行 回归 测试 


采用 以 上 方法 论 选择 了 测试 用 例 后 ， 下 一 步 就 是 为 执行 准备 测试 用 例 。 为 了 执行 这 个 步 
又 ， 需 要 “测试 用 例 执行 结果 ”记录 。 

在 包括 多 轮 测试 的 大 型 产品 版 本 中 ， 记 录 在 哪个 测试 周期 执行 了 哪些 测试 用 例 、 执 行 结 
果 和 相关 信息 是 非常 重要 的 。 这 叫做 测试 用 例 热 行 结果 记录 ， 是 第 15 章 要 讨论 的 测试 用 例 数 
据 库 的 一 部 分 。 

在 很 多 公司 中 ， 并 不 是 所 有 类 型 的 测试 和 所 有 测试 用 例 都 要 在 每 个 测试 周期 中 执行 。 前 
面 介绍 过 ， 测 试用 例 执 行 结果 记 录 提 供 什么 时 候 执行 了 什么 测试 用 例 的 有 用 信息 。 使 用 测试 
用 例 执行 结果 记录 ， 确 定 要 选择 的 回归 测试 测试 用 例 的 方法 或 规程 叫做 重新 设置 规程 。 重 新 
设置 测试 用 例 只 不 过 就 是 在 测试 用 例 数据 库 (TCDB) 中 设置 “不 运行 ”或 “再 执行 ”的 标志 。 
这 种 重新 设置 规程 还 隐藏 了 以 前 版 本 测试 用 例 的 执行 结果 ， 使 得 执行 这 些 测试 用 例 的 测试 工 
程 师 不 会 受 测 试 结果 记录 的 影响 产生 偏见 。 

重新 设置 测试 用 例 通过 使 测试 人 员 检 查 所 有 测试 用 例 ， 并 根据 缺陷 修改 的 影响 程度 选择 
恰当 的 测试 用 例 ， 降 低 测 试 缺陷 修改 的 风险 。 如 果 是 发 布 前 的 缺陷 修改 则 风险 更 大 ， 因 此 必 
须 选 择 更 多 的 测试 用 例 。 

重新 设置 测试 用 例 一 般 不 经 常 实施 ， 出 现 以 下 情况 时 可 以 考虑 实施 : 

1. 当 产 品 中 有 重大 修改 时 。 

2. 当 构 建 规程 出 现 影 响 产品 的 变化 时 。 

3. 大 的 发 布 周期 其间 有 些 测 试用 例 长 期 没有 执行 。 

4. 当 产品 要 用 少量 的 测试 用 例 进行 最 终 回 归 测 试 时 。 

5. 当 测 试用 例 的 预期 结果 与 以 前 测试 周期 有 很 大 不 同时 。 

6. 与 缺陷 修改 和 生产 问题 有 关 的 测试 用 例 需 要 对 每 个 发 布 版 进行 评估 。 如 果 这 些 测 试用 
例 的 评估 情况 良好 ， 则 可 以 重新 设置 。 

7. 只 要 删除 了 现 有 应 用 程序 的 功能 ， 就 要 重新 设置 相关 的 测试 用 例 。 

8. 可 以 删除 总 产生 正面 结果 的 测试 用 例 。 

9. 可 以 删除 与 少数 负面 测试 条 件 (不 产生 任何 缺陷 ) 相关 的 测试 用 例 。 

如 果 没 有 出 现 以 上 情况 可 以 重新 运行 测试 用 例 ， 而 不 是 重新 设置 测试 用 例 的 执行 结果 。 
重新 运行 和 重新 设置 测试 用 例 的 状态 之 间 只 有 少量 差别 。 这 两 种 情况 都 要 执行 测试 用 例 ， 但 
是 对 于 重新 设置 可 以 预期 得 到 与 以 前 测试 周期 的 不 同 结果 。 对 于 重新 运行 ， 预 期 测试 用 例会 
得 到 与 以 前 执行 一 样 的 测试 结果 ， 因 此 管理 层 不 必 过 度 担 心 ， 因 为 执行 这 些 测试 用 例 主 要 是 
走 程序 ， 不 期 望 会 发 现 什么 重大 问题 。 

属于 “重新 运行 ”状态 的 测试 用 例 ， 可 通过 再 次 测试 增强 大 家 对 产品 的 信心 。 大 家 预期 
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这 些 测试 用 例 不 会 不 通过 ， 或 影响 发 布 。 属 于 “重新 设置 ”状态 的 测试 用 例 说 明 测试 结果 可 
能 会 与 以 前 不 同 ， 只 有 当 这 些 测试 用 例 执行 后 才 知 道 回归 的 结果 和 发 布 版 本 的 状态 。 

例如 ， 如 果 在 产品 安装 中 有 一 个 变更 ， 这 个 变更 不 会 影响 产品 功能 ， 那 么 该 变更 可 以 通 
过 重新 运行 一 些 测试 用 例 独 立地 测试 ， 并 且 这 些 测试 用 例 不 必 “ 重 新 设置 "。 类 似 地 ， 如 果 有 
某 个 功能 要 进行 重大 修改 (在 设计 、 体 系 结构 或 代码 上 的 修改 )， 那 么 该 功能 所 有 相关 的 测试 
用 例 都 需要 “重新 设置 "， 并 必须 再 次 执行 这 些 测试 用 例 。 通 过 重新 设置 测试 用 例 ， 测 试 工程 
师 没 有 办 法 知道 以 前 的 执行 结果 。 这 样 做 可 以 消除 偏见 ， 人 迫使 测试 工程 师 提取 并 执行 这 些 测 
试用 例 。 

测试 用 例 的 重新 运行 状态 表示 发 布 版 本 有 很 低 的 风险 ， 重 新 设置 状态 表示 发 布 版 本 有 中 
到 高 的 风险 。 因 此 ， 对 于 马上 就 要 发 布 的 产品 ， 最 好 能 在 执行 “重新 运行 ”测试 用 例 之 前 ， 
先 “ 重 新 设置 ”测试 用 例 。 

是 否 进行 重新 设置 还 取决 于 功能 的 稳定 性 。 如 果 要 执行 优先 级 1 的 测试 用 例 ， 要 先 达到 优 
先 级 0 的 测试 用 例 执行 情况 良好 (比方 说 有 95% 的 通过 率 ) ， 那 么 就 不 要 重新 设置 优先 级 0 的 测 
试用 例 ， 除 非 有 重大 变更 。 在 优先 级 2 测试 阶段 时 对 优先 级 1 的 处 理 也 一 样 。 

下 面 介绍 “重新 设置 ”标志 在 各 个 阶段 的 回归 测试 中 的 使 用 。 

组 件 测试 周期 阶段 

组 件 测试 周期 之 间 的 回归 测试 只 使 用 优先 级 0 的 测试 用 例 。 对 于 每 个 提交 测试 的 版 本 ， 要 
选择 版 本 号 并 重新 设置 所 有 优先 级 0 的 测试 用 例 。 这 个 测试 周期 只 有 在 所 有 优先 级 0 的 测试 用 
例 全 部 通过 后 才 开始 。 

集成 测试 阶段 

组 件 测试 后 ， 如 果 在 集成 测试 周期 之 间 进 行 回归 测试 ， 则 执行 优先 级 0 和 优先 级 1 的 测试 
用 例 。 优 先 级 1 的 测试 可 以 使 用 多 个 版 本 。 在 这 个 阶段 ， 只 有 当 缺 陷 修改 和 补充 特性 的 关键 性 
和 影响 程度 很 高 时 ， 才 对 这 些 测试 用 例 进行 重新 设置 。 这 个 阶段 的 重新 设置 规程 可 能 影响 所 
有 优先 级 0 和 优先 级 1 的 测试 用 例 。 

系统 测试 阶段 

当 所 有 优先 级 1 的 测试 用 例 已 执行 ， 且 根据 测试 计划 制定 的 标准 已 达到 可 接受 的 通过 率 ， 
就 要 开始 执行 优先 级 2 的 测试 用 例 。 在 系统 测试 阶段 ， 只 有 当 缺 陷 修 改 和 补充 特性 的 关键 性 和 
影响 程度 很 高 时 ， 才 对 这 些 测试 用 例 进行 重新 设置 。 这 个 阶段 的 重新 设置 规程 可 能 影响 所 有 
优先 级 0、 优 先 级 1 和 优先 级 2 的 测试 用 例 。 

重新 设置 测试 用 例 的 理由 

回归 测试 要 使 用 大 量 已 经 执行 过 的 测试 用 例 ， 要 与 一 些 执行 结果 和 执行 结果 的 假设 关联 。 
“重新 设置 ”规程 清楚 地 指示 还 有 多 少 测试 工作 没有 完成 ， 并 反映 回归 测试 的 状态 。 

如 果 测 试用 例 没有 重新 设置 ， 则 测试 工程 师 会 倾向 于 根据 以 前 的 版 本 报告 完成 率 和 其 他 
结果 。 这 是 因为 人 们 会 有 在 每 个 测试 阶段 使 用 多 个 版 本 的 基本 假设 ， 会 感觉 如 果 在 过 去 的 版 
本 通过 也 会 在 新 版 本 中 通过 。 回 归 测 试 不 能 有 “未 来 是 过 去 的 延伸 ”这 种 假设 。 重 新 设置 作 
为 一 种 规程 可 以 消除 关于 测试 用 例 的 任何 偏见 ， 因 为 重新 设置 测试 用 例 执行 结果 可 以 防止 测 
试 工程 师 看 到 测试 用 例 执行 历史 。 
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8.4.6 总 结 回归 测试 的 结果 





在 测试 周期 结束 后 ， 有 时 在 马上 就 要 发 布 产 品 的 时 候 ， 除 了 测试 
团队 ， 公 司 中 的 很 多 人 也 会 关注 回归 测试 的 结果 。 开 发 人 员 也 关注 回 
归结 果 ， 因 为 他 们 想 知 道 他 们 的 缺陷 修改 对 产品 的 作用 如 何 。 因 此 ， 
需要 理解 总 结 回归 结果 的 方法 。 

由 于 回归 测试 使 用 已 经 执行 多 次 的 测试 用 例 ， 如 果 缺 陷 修改 做 得 
好 ， 预 期 对 于 同一 个 版 本 会 有 100% 的 测试 用 例 通 过 率 。 如 果 通 过 率 没 有 达到 100% ， 测 试 经 理 
会 与 未 通过 测试 用 例 的 以 前 执行 结果 进行 比较 ， 以 确定 回归 测试 是 否 成 功 。 

。 如 果 特 定 测试 用 例 的 执行 结果 对 于 以 前 的 版 本 通过 ， 而 当前 版 本 未 通过 ， 则 回归 未 通 

过 。 需 要 提交 新 版 本 ， 并 对 测试 用 例 重新 设置 后 从 头 重新 测试 。 
。 如 果 特 定 测 试用 例 的 执行 结果 对 于 以 前 的 版 本 未 通过 ， 而 当前 版 本 通过 ， 则 可 以 有 把 
握 地 说 缺陷 修改 有 效 。 

。 如 果 特 定 测试 用 例 的 执行 结果 对 于 以 前 的 版 本 未 通过 ， 而 当前 版 本 也 未 通过 ， 如 果 对 
于 这 个 特定 的 测试 用 例 没 有 针对 缺陷 修改 ， 则 可 能 意味 着 这 个 测试 用 例 的 执行 结果 应 
该 未 通过 ,而 且 在 回归 测试 中 不 应 该 选择 这 类 测试 用 例 。 

。 如 果 特 定 测 试用 例 的 执行 结果 对 于 以 前 的 版 本 未 通过 ， 但 是 通过 某 种 写 人 文档 的 迁 回 

方法 可 以 通过 ， 而 且 测 试 人 员 也 对 这 种 迁 回 方法 感到 满意 ， 则 可 以 认为 对 于 系统 测试 


每 个 人 都 关心 回归 
测试 的 结果 ， 因 为 这 种 
测试 不 仅 说 明 缺 陷 情 况 ， 
还 说 明 缺 陷 的 修改 情况 。 





周期 和 回归 测试 周期 都 通过 。 
。 如 果 测 试 人 员 对 迁 回 不 满意 ， 则 可 以 认为 系统 测试 周期 是 未 通过 ， 但 是 回归 测试 周期 
是 通过 。 1 


以 上 内 容 通过 表 8-1 进 行 归 纳 。 
表 8-1 总 结 回归 测试 周期 的 结果 

















回归 测试 的 当前 结果 以 前 的 结果 结 论 说 明 

未 通过 通过 未 通过 需要 改进 回归 过 程 并 进行 代码 评审 

通过 未 通过 通过 这 是 好 的 回归 预期 结果 ， 说 明 缺 陷 修改 
有 效 

未 通过 未 通过 未 通过 需要 分 析 为 什么 缺陷 修改 没有 成 功 。 修 
改 有 问题 吗 ? ”还 要 分 析 为 什么 要 在 回归 
中 重新 运行 这 个 测试 用 例 

通过 (通过 迁 回 方法 ) 未 通过 分 析 迁 回 方法 ， 还 回 也 需要 进行 认真 的 评审 ， 因 为 可 能 

如 果 满 意 ， 则 通过 生 副 作用 
通过 通过 通过 这 类 结果 给 人 们 以 没有 出 现 由 于 缺陷 修 





改 而 引起 副作用 的 良好 感觉 


8.5 回归 测试 的 最 佳 实践 


实践 1， 回 归 可 以 用 回归 测试 方法 论 可 以 用 在 以 下 场合 ; 
于 所 有 类型 的 着 1. 需要 评估 测试 周期 之 间 的 产品 质量 (包括 计划 内 的 评估 和 基于 
- 需要 的 评估 ) ， 
2 正在 准备 产品 的 一 次 重大 发 布 ， 已 经 通过 了 所 有 测试 周期 ， 正 在 策划 针对 缺陷 修改 的 
回归 测试 ， 
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3. 正在 准备 产品 只 有 缺陷 修改 的 一 次 小 发 布 (支持 包 、 补 丁 等 )， 可 以 策划 回归 测试 周期 
关注 这 些 缺陷 修改 。 

可 以 为 每 次 发 布 策划 多 个 回归 测试 周期 。 这 种 情况 适用 于 多 个 阶段 的 缺陷 修改 ， 或 要 检 
查 某 些 缺 陷 修 改 是 否 对 某 个 具体 版 本 无 效 的 情况 。 

在 测试 执行 其 间 ， 如 果 将 未 通过 的 结果 指派 给 测试 用 例 ， 最 好 也 一 详 起 2 将 其 全 标 识 
能 够 输入 该 缺陷 的 标识 通过 缺陷 跟踪 系统 获得 )， 以 便 了 解 在 缺陷 ”映射 到 测试 用 例 上 可 收 
修改 提交 时 需要 运行 哪些 测试 用 例 。 请 注意 ， 一 个 特定 测试 用 例 可 能 。 间 甸 归 质 量 、 

对 应 多 个 缺陷 ， 一 个 特定 缺陷 可 能 影响 多 个 测试 用 例 。 

即使 在 理想 情况 下 已 经 在 测试 用 例 和 缺陷 之 间作 了 映射 ， 但 是 选择 要 执行 的 测试 用 例 检 
查 缺 陷 修改 的 副作用 时 ， 可 能 仍然 在 很 大 程度 上 是 个 手工 过 程 ， 因 为 这 要 求 了 解 各 种 缺陷 修 
改 之 间 的 相互 依赖 关系 。 

随 着 时 间 的 流逝 和 产品 各 个 版 本 的 发 布 ， 要 执行 的 回归 测试 用 例 数目 会 增加 。 人 们 已 经 
发 现 ， 过 去 客户 报告 的 一 些 缺陷 是 由 于 最 后 时 刻 的 缺陷 修改 产生 的 副作用 引起 的 。 因 此 ， 选 
择 回归 测试 的 测试 用 例 确实 是 门 艺术 ， 并 不 容易 。 大 部 分 人 都 想 在 回归 测试 上 用 最 小 的 投入 
获得 最 大 的 回报 ， 这 使 问题 更 加 复杂 。 

为 了 解决 这 个 问题 ， 在 对 产品 进行 修改 时 ， 要 在 现 有 的 测试 用 例 ” 实 芯 3， 每 天 部 创建 
包 中 增加 或 删除 测试 用 例 。 这 种 叫做 回归 包 或 回归 测试 床 的 测试 用 例 。 并 运行 回归 测试 床 。 

包 ， 在 为 应 用 程序 或 产品 引入 新 变更 时 运行 。 回 归 测试 床 中 的 自动 化 ， 
测试 用 例 可 以 在 每 天 晚上 生成 的 版 本 上 执行 ， 以 保证 产品 的 质量 在 产品 开发 阶段 持续 保持 。 

前 面 介绍 过 ， 缺 陷 、 产 品 及 其 相互 依赖 关系 的 知识 和 结构 化 程度 很 高 的 方法 论 ， 对 于 测 
试用 例 的 选择 都 是 非常 重要 的 。 这 些 都 强调 需要 选择 合适 的 人 做 合适 的 工作 。 团 队 中 最 有 经 
验 的 人 或 能 力 最 强 的 人 ， 在 选择 合适 的 测试 用 例 进 行 回归 上 可 能 要 比 缺乏 经 验 的 人 做 得 好 。 
经 验 和 能 力 会 得 到 产品 中 薄弱 部 分 的 知识 ， 并 会 影响 缺陷 分 析 。 

请 观察 后 面 的 图 片 。 在 第 一 张 图 片 中 ， 老 虎 被 关 在 笼子 里 防止 它 伤害 人 。 在 第 二 张 图 片 
中 ， 家 庭 成 员 身 在 蚊帐 内 防备 蚊子 的 侵扰 。 

对 于 回归 也 采用 同样 的 策略 。 就 像 笼子 中 的 老虎 ， 产 品 中 的 所 有 
缺陷 都 必须 标识 和 修改 。 这 就 是 “检测 产品 中 的 缺陷 ”的 含义 。 前 面 
各 章 讨论 过 的 所 有 类 型 的 测试 和 回归 测试 都 采用 这 种 技术 发 现 每 个 缺陷 并 修改 。 

蚊帐 内 家 庭 成 员 的 图 片 表示 “保护 自己 的 产品 不 受 缺 陷 侵 扰 "。 这 个 策略 是 缺陷 预防 。 有 
很 多 验证 和 质量 保证 活动 ， 例 如 评审 和 审查 (请 参阅 第 3 章 ) 都 试图 预防 缺陷 。 

与 回归 测试 有 关 的 另 一 个 问题 是 “保护 自己 的 产品 不 受 缺 隐 修 改 的 侵扰 ”。 前面 介绍 过 ， 
被 定 为 轻微 缺陷 的 缺陷 在 代码 中 进行 修改 后 可 能 会 对 产品 造成 重大 影响 。 这 与 蚊子 侵扰 ( 影 
响 ) 人 的 情况 类 似 ， 尽管 蚊子 的 个 头 很 小 ， 但 其 造成 的 危害 却 很 大 。 
因此 ， 不 管 缺 隐 有 多 少 和 严重 性 有 多 轻 ， 在 通过 代码 对 缺陷 进行 修改 
前 ， 最 好 都 要 对 缺陷 修改 的 影响 进行 分 析 。 对 缺陷 修改 造成 的 影响 进 
行 分 析 是 很 困难 的 ， 因 为 时 间 很 紧 且 产品 很 复杂 。 因 此 ， 最 佳 实践 是 ， 一 一 
在 临近 产品 发 布 的 时 候 ， 限 制 对 产品 进行 修改 的 量 。 这 可 以 保护 产品 不 引入 由 于 缺陷 修改 千 
成 的 缺陷 ， 就 像 蚊 子 可 以 通过 小 洞 侵 和 蚊帐。 如果 在 蚊帐 上 开 个 口 赶 走 蚊 子 ， 那 么 这 也 会 为 
新 蚊子 进入 蚊帐 打开 了 大 门 。 不 进行 影响 分 析 的 问题 改正 会 在 产品 中 引入 大 量 缺 陷 。 因 此 ， 
不 仅 要 将 产品 与 缺陷 隔离 ， 而 且 还 要 将 产品 与 缺陷 修改 隔离 ， 这 是 非常 重要 的 。 


实践 5: 检测 缺陷 ， 
保护 产品 不 受 缺 陷 和 缺 
陷 修 改 的 侵扰 。 
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如 采 发 现 了 缺陷 ， 而 且 产品 已 经 受到 保护 ， 防 止 缺陷 和 缺陷 修改 的 侵扰 ， 那 么 回归 测试 
就 是 有 效 的 和 高 效 的 。 回 归 测 试 实际 上 提供 的 是 蚊帐 。 


问题 与 练习 


:一 个 用 于 工资 自动 化 管理 的 产品 定 于 三 月 发 布 。 以 下 是 该 产品 的 一 些 特性 。 对 于 这 些 特性 ， 

标识 出 哪些 应 纳入 发 布 前 ， 三 个 月 内 的 冒 烟 测 试 ， 假 设 九 月 还 要 发 布 另 一 个 维护 版 。 

a. 输入 员工 信息 的 屏幕 

b. 法 定年 终 报告 

c. 计算 每 月 工资 单 的 详细 内 容 

d. 维护 员工 地 址 的 屏幕 

2. 一 个 产品 有 一 些 很 少 运行 的 测试 用 例 ， 表 面 上 是 “由 于 没有 时 间 ” 运 行 。 请 讨论 作为 回归 

测试 的 一 部 分 运行 这 类 睡眠 测试 用 例 的 优 缺 点 。 

. 以 下 哪个 测试 用 例 应 纳入 给 定 的 回归 测试 周期 内 ? 

a. 正 准 备 发 布 产品 的 版 本 7， 有 一 些 测 试用 例 针 对 的 是 引入 这 个 版 本 的 新 特性 。 

b. 版 本 6 在 缓存 区 管理 模块 中 有 一 些 缺 陷 ， 而 版 本 7 是 在 这 个 模块 上 构建 的 。 

c. 版 本 6 的 用 户 界面 模块 相当 稳定 〈 即 缺陷 很 少 ) ， 版 本 7 对 这 个 模块 的 修改 非常 少 。 

d. 版 本 7 已 完成 贝塔 测试 周期 ， 并 且 在 贝塔 测试 期 间 ， 一 些 重要 的 客户 使 用 场景 发 现 了 产品 
中 未 发 现 的 缺陷 。 

e. 该 产品 是 一 个 数据 库 软 件 ， 有 一 些 诸如 数据 库 启 动 、 基 本 SQL 查询 和 多 场地 查询 的 特性 。 

. 本章 讨 论 了 划 定 测试 用 例 优先 级 的 方法 。 利 用 本 章 给 出 的 建议 ， 请 为 以 下 测试 用 例 分 配 优 

先 级 PO/P1/P2 。 

a. 针对 网 络 产品 的 测试 用 例 测试 基本 的 流程 控制 和 错误 控制 。 

b. 针对 数据 库 软件 的 测试 用 例 测试 所 有 连接 查询 的 选项 。 

c. 针对 文件 系统 的 测试 用 例 检查 不 连续 的 空间 分 配 。 

d. 测试 用 正常 参数 启动 操作 系统 的 测试 用 例 。 

e. 测试 以 “安全 模式 ”启动 一 个 应 用 程序 的 测试 用 例 ， 这 种 情况 不 经 常 出 现 。 

f 测试 用 例 针对 的 特性 正在 当前 版 本 作 重 要 变更 。 

g. 测试 用 例 针对 的 是 很 稳定 的 特性 ， 并 且 从 没有 发 现任 何 严重 缺陷 。 

. 如 果 执 行 回归 测试 的 时 间 非 常 紧张 ， 请 讨论 本 章 给 出 的 各 种 回归 测试 方法 论 (全 回归 、 回 

归 变 更 等 ) 的 优 缺 点 。 

.一 个 回归 测试 工程 师 提供 了 以 下 测试 结果 。 请 讨论 选择 回归 测试 和 开发 过 程 的 效率 : 

a, 针对 打印 功能 的 测试 在 以 前 的 版 本 中 没有 发 现 缺陷 ， 也 没有 在 当前 版 本 中 发 现 缺 陷 。 

b. 针对 多 币 种 的 测试 发 现 的 缺陷 在 当前 版 本 中 依然 存在 。 

c. 一 个 要 交付 的 特性 在 当前 的 版 本 中 有 新 缺陷 。 

. 请 讨论 针对 产品 大 发 布 版 本 和 小 发 布 版 本 的 回归 测试 的 差别 。 

.本 章 和 第 15 章 详细 讨论 了 测试 用 例 数 据 库 、 配 置 管理 库 和 缺陷 库 。 请 讨论 如 何在 这 三 个 库 

之 间 建 立 联系 ， 以 自动 选择 给 定 发 布 版 本 的 最 优 回归 测试 。 
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第 9 章 国际 化 [Iisn] 测试 


9.1 引言 


软件 市 场 已 经 真正 地 全 球 化 。 因 特 网 的 发 展 已 经 消除 了 影响 软件 产品 广泛 使 用 的 一 些 技 
术 障 碍 ， 并 且 简 化 了 软件 产品 在 全 球 的 发 行 。 但 是 ， 软 件 产 品 适用 不 同 国家 语言 的 能 力 ， 会 
严重 影响 产品 的 接受 率 。 因 此 ， 一 项 既 荒 雇 又 合理 的 软件 需求 ， 是 要 支持 不 同 语言 (例如 中 
文 、 日 文 和 西班牙 文 ) 并 遵循 他 们 的 习俗 。 本 章 从 开发 和 测试 角度 介绍 为 了 使 软件 产品 能 够 
以 不 同 的 语言 在 不 同 的 国家 使 用 所 要 做 的 工作 。 构 建 针 对 国际 市 场 的 软件 ， 支 持 多 种 语言 ， 
既 经 济 又 高 效 的 方法 是 在 整个 软件 开发 生存 周期 ， 即 从 需求 获取 到 设计 、 开 发 、 测 试 和 维护 
都 采用 国际 化 标准 。 本 章 给 出 的 指南 有 助 于 从 一 开始 就 构建 具有 足够 灵活 性 以 支持 多 种 语言 
的 软件 产品 ， 压 缩 构建 软件 产品 支持 多 种 语言 所 需 的 时 间 和 工作 量 。 

如 果 在 针对 国际 化 的 软件 生存 周期 中 没有 遵循 一 些 指南 ， 那 么 每 支持 一 种 新 语言 所 需要 
做 的 工作 和 额外 成 本 就 会 随时 间 的 流逝 显著 增加 。 针 对 国际 化 的 测试 要 保证 软件 没有 假设 任 
何 特定 语言 或 与 某 种 特定 语言 相关 的 习俗 。 国 际 化 测试 要 在 软件 生存 周期 的 各 个 阶段 实施 。 
9.3 市 将 详细 讨论 这 个 问题 。 以 下 首先 介绍 在 国际 化 中 使 用 的 基本 术语 。 


9.2 国际 化 介绍 


9.2.1 语言 的 定义 


为 了 解释 国际 化 要 用 到 的 术语 ， 需 要 理解 什么 是 语言 。 语 言 是 用 于 沟通 国际 化 的 一 种 工 
具 。 本 章 主 要 关注 人 类 语言 (例如 日 文 、 英 文 等 )， 而 不 是 计算 机 语言 (例如 Java、C 等 )。 语 
言 有 一 套 字符 (字母 ) ， 一 套 由 这 些 字符 构成 的 (有效 ) 单词 ， 以 及 语法 (关于 如 何 构成 单词 
和 句子 的 规则 ) 。 此 外 ， 语 言 还 有 语意 ， 即 与 句子 关联 的 含义 。 对 于 同一 种 语意 ， 口 头 使 用 、 
书面 使 用 和 语法 会 因 国家 而 异 。 但 是 在 大 多 数 情 况 下 ， 字 符 / 字 母 还 保持 不 变 。 单 词 对 于 使 用 
相同 语言 的 国家 可 以 用 一 组 不 同 的 字符 表示 同样 的 含义 。 例 如 ,“ 颜 色 ” 这 个 单词 ， 在 美国 英 
语 中 的 拼写 是 “color”， 在 英国 英语 中 的 拼写 是 “colour 。 


9.2.2 字符 集 


本 节 归 纳 一 些 用 于 在 计算 机 中 表示 不 同 语言 字符 的 标准 。 本 节 的 目的 是 介绍 不 同 字 符 表 
示 的 思想 。 理 解 本 章 内 容 并 不 要 求 具有 对 每 个 字符 如 何 表示 和 内 部 知识 的 深入 理解 。 

ASCIl ASCII 是 美国 信息 交换 标准 代码 。ASCII 是 在 计算 机 中 使 用 的 字符 的 字 节 表示 (8 
个 位 )。ASCII 采 用 7 个 位 表示 在 计算 机 中 使 用 的 所 有 字符 。 使 用 这 种 方法 ， 可 以 以 二 进 制 的 形 
式 表示 128 (2 ”=128) 个 字符 。ASCII 是 最 早 的 计算 机 二 进 制 字 符 表示 的 方法 之 一 。 以 后 
ASCH 经 过 扩展 ， 又 包含 了 没有 使 用 的 第 8 个 位 ， 即 可 以 以 二 进 制 的 形式 表示 256 (2 =128) 个 
字符 。 这 种 表示 包含 了 更 多 的 标点 符号 、 欧 洲 语 言 字符 和 特殊 字符 。 扩 展 ASCH 还 有 助 于 表示 
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带 重 音 的 字符 (例如 ii6f6i) 。 带 重音 的 字符 是 类 似 英语 的 字符 ， 在 欧洲 和 西方 语言 中 具有 特 
殊 的 含义 。 

双 字 节 字 符 集 (DBCS) ”在 ASCII 中 采用 单个 字 节 表示 英语 字符 。 有 些 语言 ， 例 如 中 文 
和 日 文 拥有 很 多 不 同 的 字符 ， 不 能 用 一 个 字 节 表示 ， 要 使 用 两 个 字 节 表示 每 个 字符 ， 因 此 叫 
做 双 字 节 字 符 集 。 在 单字 节 表 示 法 中 ， 只 能 (以 二 进 制 的 形式 ) 表示 256 个 不 同 的 字符 ， 而 在 
双 字 节 字 符 集 表示 法 中 ， 可 以 表示 65 535 (2”) 个 不 同 的 字符 。 

统一 码 ”ASCII 或 DBCS 也 许 足以 对 一 种 语言 的 所 有 字符 进行 编码 ， 但 是 肯定 不 足以 表示 
全 世界 所 有 语言 的 所 有 字符 。 所 有 语言 的 字符 需要 以 标准 形式 存储 、 解 释 和 传输 。 统 一 码 有 
效 地 满足 了 这 种 需要 。 统 一 码 为 每 个 字符 提供 了 唯一 的 数字 ， 不管 是 什么 平台 、 程 序 还 是 语 
言 。 统 一 码 使 用 定 宽 16 位 世界 字符 编码 ， 由 统一 码 财团 进行 开发 、 维 护 和 推广 。 统 一 码 通过 
表示 每 种 语言 的 字符 来 对 每 种 语言 进行 唯一 编码 ， 因 此 能 够 以 相同 的 方式 处 理 每 种 语言 ， 即 
存储 、 搜 索 和 操作 。 统 一 码 转 换 格 式 (UTF) 规定 了 要 转换 为 统一 码 的 不 同 语 言 的 字符 映射 
算法 。 统 一 码 财 团 吸 收 了 世界 上 现 有 的 很 


s 表 9-1 Windows 操 作 系 统 向 统一 码 
多 语言 和 属地 (将 在 下 一 节 讨论 )。 每 种 语 Es 





言 的 每 个 字符 都 被 分 配 了 唯一 数字 ， 极 大 微软 操作 系统 国际 化 道路 
地 促进 了 软件 的 国际 化 。 所 有 软件 应 用 程 ws ANSI 
下 次 缠 一 人 U Windows 95 ANSI 和 有 限 的 统一 码 
Er op, 0 A 0 
的 信息 解释 了 Microsoft Windows 不 同 版 本 nd 局 二 区 一 友 学 答 
向 统一 码 发 展 的 情况 。 Windows NT 5.0 显示 和 输入 统一 码 字 符 
9.2.3 属地 


商业 化 软件 不 仅 需要 记 住 语言 ， 而 且 要 记 住 使 用 该 语言 的 国家 。 有 一 些 软件 需要 考虑 与 
特定 语言 相关 的 习俗 。 有 可 能 两 个 国家 使 用 相同 语法 、 单 词 和 字符 集 的 同一 种 语言 ， 但 是 仍 
然 可 能 有 变化 ， 例 如 货币 和 日 期 格式 。 属 地 这 个 词 用 于 区 分 这 类 参数 和 习俗 。 属 地 可 以 认为 
是 一 种 语言 的 一 个 子 集 ， 该 子 集 定义 了 在 不 同 国家 或 地 区 的 行为 。 例 如 ， 英 语 是 在 美国 和 
度 使 用 的 语言 ， 但 是 两 个 国家 使 用 的 货币 符号 是 不 同 的 (分别 为 $3 和 Rs)。 数 字 中 使 用 的 标点 
符号 也 不 同 ， 例 如 1 百 万 在 美国 表示 为 1 000 000， 在 印度 表示 为 10 00 000。 

为 了 正常 运行 软件 ， 除 了 语言 还 需要 记 住 属地 。 可 能 在 使 用 同一 种 语言 的 国家 里 要 使 用 
多 种 货币 (例如 在 法 国 使 用 欧元 和 法 郎 ， 而 法 国 使 用 的 语言 是 法 语 )。 还 有 可 能 使 用 多 种 日 期 
格式 。 属 地 这 个 词 包 含 所 有 这 些 含义 ， 以 及 其 他 一 些 可 能 很 重要 的 含义 。 因 此 ， 一 种 语言 可 
以 有 多 个 属地 。 





9.2.4 本 章 使 用 的 术语 


国际 化 [Lisn] 是 普遍 使 用 的 一 个 伞 状 术语 ， 覆 盖 使 软件 能 够 推 向 国际 市 场所 需 的 所 有 话 
动 ， 包 括 开 发 和 测试 活动 。 国 际 化 的 简写 形式 是 Lan， 下 标 18 表 示 在 “国际 化 ”这 个 英文 单词 
Internationalization 中 ， 在 I 和 n 之 间 有 18 个 字符 。 在 各 个 阶段 实施 的 测试 保证 所 有 这 些 活动 都 
已 恰当 地 完成 ， 叫 做 国际 化 测试 或 Lisn 测 试 。 

本 地 化 (Lion) 表示 所 有 软件 资源 ， 例 如 消息 向 目标 语言 和 





全 球 化 = 国际 化 二 ”习俗 的 转换 工作 。 本 地 化 的 简写 形式 是 Lion， 下 标 10 表 示 在 “本 
本 地 化 地 化 ”英文 单词 Localization 中 ， 在 L 和 n 之 间 有 10 个 字符 。 消 息 





和 9 章 国际 化 [ljsn7 测 趟 733 





和 文档 的 转换 要 由 既 懂得 英文 ( 黑 认 所 有 软件 消息 都 采用 英文 ) 又 懂得 软件 要 转换 的 目 
标语 言 的 一 组 语言 专家 来 完成 。 对 于 需要 准确 转换 的 情况 ， 消 息 连 同 使 用 背景 都 包含 在 
Lion 术 语 中 。 

全 球 化 (Gin) 这 个 词 使 用 得 并 不 很 普遍 ， 表 示 国 际 化 和 本 地 化 。 一 些 公司 使 用 全 球 化 
这 个 词 ， 想 把 国际 化 和 本 地 化 活动 区 分 开 来 。 这 种 情况 可 能 是 有 必要 的 ， 因 为 本 地 化 活动 由 
完全 不 同 的 一 组 语言 专家 考虑 ( 按 每 种 语言 ) ， 并 且 这 些 活动 一 般 是 通过 外 购 引入 的 。 有 些 公 
司 使 用 Lsn 只 表示 编码 和 测试 活动 ， 不 包括 转换 。 


9.3 国际 化 测试 的 测试 阶段 


国际 化 测试 需要 清楚 地 了 解 所 包含 的 所 有 活动 及 其 顺序 。 由 于 测试 的 任务 就 是 要 保证 其 
他 团队 完成 活动 的 正确 性 ， 因 此 本 节 还 要 讨论 在 测试 团队 之 外 的 完成 活动 。 图 9-1 使 用 不 同 灰 
度 的 方 框 描述 国际 化 测试 的 各 种 主要 活动 。 最 上 和 最 下 一 排 共 三 个 方 框 表示 由 开发 人 员 完 成 
的 活动 ， 左 侧 上 部 三 个 方 框 表示 由 叫做 本 地 化 团队 完成 的 活动 (本 章 稍 后 还 要 讨论 ) ， 其 他 方 
框 表示 由 测试 工程 师 完成 的 测试 活动 。 以 下 逐个 详细 介绍 这 些 活动 。 





| 








发 布 (英文 版 ) 


图 9-1 国际 化 测试 中 的 主要 活动 


国际 化 测试 要 在 项 目 生 存 周期 中 的 多 个 阶段 内 实施 。 图 9-2 进 一 步 表示 了 第 2 章 讨论 过 的 
软件 开发 生存 周期 的 V 字 模型 ， 给 出 了 这 种 模型 的 不 同 阶段 与 各 种 Isn 测 试 活动 的 关系 。 请 注 
意 ， 有 效 化 测试 要 作为 单元 测试 阶段 的 一 部 分 ， 由 开发 人 员 完 成 。 

国际 化 测试 的 一 些 重 要 问题 包括 : 

1. 测试 代码 ， 检 查 其 如 何 处 理 输入 、 字 符 串 和 排序 ， 

2. 各 种 语言 的 消息 显示 ， 

3. 各 种 语言 和 习俗 的 消息 处 理 。 

这 些 问题 是 以 下 各 节 要 讨论 的 要 点 。 
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图 9-2 软件 开发 生存 周期 V 字 模型 的 阶段 与 国际 化 活动 的 关系 


9.4 有 效 化 测试 


有 效 化 测试 是 一 种 白 盒 测 试 方法 论 ， 要 保证 软件 所 使 用 的 源 代 码 允 许 国际 化 。 采 用 硬 代 
码 的 方式 表示 货币 和 日 期 格式 、 采 用 固定 长 度 的 GUI 屏 幕 或 对 话 框 、 直 接 在 媒介 上 读 写 消息 ， 
这 样 的 源 代 码 都 不 是 有 效 化 代码 。 代 码 评 审 或 代码 审查 活动 结合 一 些 单元 测试 的 测试 用 例 ， 
目标 是 找 出 国际 化 缺陷 ,这样 的 活动 叫做 有 效 性 测试 。2000 年 发 现 的 绝 大 多 数 缺 陷 都 是 Len 缺 
陷 ， 因 为 都 使 用 硬 编码 格式 。 有 效 性 测试 使 用 检查 单 。 有 效 性 测试 评审 检查 单 的 一 些 检查 项 
包括 : 
。 检 查 APL/ 函 数 调用 的 代码 是 否 不 是 国际 化 API 集 的 一 部 分 。 例 如 C 语 言 中 的 函数 printf() 和 
scanf() 就 不 是 国际 化 有 效 的 调用 。 要 使 用 NLSAPI、 统 一 码 和 GNU gettxt 定 义 的 一 些 调用 
集 。( 有 些 公 司 使 用 预先 编写 的 分 析 器 /脚本 捕获 这 些 非 国际 化 函数 使 用 的 明显 问题 。) 
。 检 查 硬 编码 的 日 期 、 货 币 格式 、ASCII 代 码 或 字符 常量 的 代码 。 
。 检 查 代码 是 否 没有 对 日 期 变量 进行 计算 (加 、 减 ) ， 或 在 代码 中 强制 使 用 日 期 的 不 同 


格式 。 

。 检 查 对 话 框 和 屏幕 是 否 留 有 至 少 0.5 倍 宽度 的 扩展 空间 (因为 经 过 翻译 的 文本 可 能 会 占 
用 更 多 空间 ) 。 

。 保 证 代码 中 没有 基于 地 区 文化 的 消息 和 堡 语 (基于 地 区 文化 的 消息 很 难 翻 译 成 其 他 
语言 )。 

。 保 证 没有 在 代码 中 执行 字符 串 操 作 ( 子 字符 串 搜 索 、 拼 接 等 )， 只 使 用 系统 提供 的 国际 
化 API 进 行 字符 串 操作 。 


。 验 证 代码 没有 为 了 执行 功能 ， 假 设 以 特定 的 语言 预先 定义 路 径 、 文 件 名 或 目录 名 。 

。 检 查 代码 没 有 假设 语言 字符 可 以 用 8 位 、16 位 或 32 位 表示 (有 些 程序 使 用 C 语 言 的 位 移 
动 操作 读 取 下 一 个 字符 ， 这 是 不 允许 的 )。 

。 保 证 为 缓存 区 和 变量 留 有 足够 的 空间 容纳 翻译 后 的 消息 。 

。 检 查 位 图 和 图 表 没有 肉 入 可 翻译 的 文本 (需要 翻译 的 文本 )。 

。 保证 所 有 消息 及 其 使 用 背景 都 写 入 文档 ， 供 翻译 者 使 用 。 

。 保 证 所 有 资源 (例如 位 图 、 图 标 、 屏 幕 、 对 话 框 ) 都 与 代码 分 离 ， 并 存储 在 资源 文件 中 。 
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。 检查 没 有 消息 包含 技术 行 话 ， 所 有 消息 对 于 即使 经 验 很 少 的 产品 用 户 都 是 可 理解 的 。 
这 还 有 助 于 恰当 地 翻译 消息 。 

。 如 果 代 码 所 有 文本 滚动 ， 那 么 屏幕 和 对 话 框 必须 提供 恰当 的 滚动 方向 变更 指示 ， 例 如 
从 上 到 下 、 从 左 到 右 、 从 右 到 左 、 自 底 向 上 等 ， 因 为 不 同 语言 有 不 同 的 习俗 。 例 如 ， 
阿拉 伯 使 用 “从 右 到 左 ” 阅 读 方向 ,“ 从 左 到 在” 滚动 。[ 请 注意 ， 滚 动 方向 一 般 与 阅 
读 方 向 相反 ， 如 图 9-3 所 示 。] 








图 9-3 阅读 与 滚动 方向 
对 于 国际 化 测试 的 所 有 阶段 ， 如 果 做 得 好 ， 有 效 化 测试 阶段 一 般 会 找 出 最 大 量 的 国际 化 





缺陷 。 在 设计 和 初步 编码 时 ， 要 注意 保证 满足 检查 单 上 的 所 有 检查 项 
和 其 他 国际 化 需求 。 针 对 国际 化 的 代码 有 效 化 测试 不 应 推迟 到 编码 阶 
段 。 如 果 产 品 开发 团队 先 开 发 产品 〈 代 码 ) ， 然 后 再 作为 一 个 独立 阶 
段 考虑 满足 国际 化 要 求 ， 实 践 证 明 这 是 低 效 的 ， 生 产 率 很 低 。 因 为 在 
这 种 情况 下 ， 必 须 针 对 国际 化 要 求 在 很 大 范围 内 修改 代码 (在 实现 了 基本 功能 以 后 )。 因 此 ， 
从 单元 测试 开始 到 最 后 的 确认 测试 的 所 有 测试 阶段 ， 都 需要 重复 ， 因 为 这 类 修改 会 影响 软件 
的 基本 功能 。 


9.5 属地 测试 


针对 国际 化 要 求 验 证 了 代码 ， 完 成 了 有 效 化 测试 后 ， 下 一 步 是 确认 产品 中 的 属地 变更 效 
果 。 属 地 变更 会 影响 日 期 、 币 种 格式 和 屏幕 、 对 话 框 和 文本 中 的 显示 项 。 利 用 系统 设置 或 环 
境 变量 改变 不 同 的 属地 ， 并 测试 软件 功能 、 数 字 、 上 日期、 时 间 和 币 种 格式 ， 这 种 测试 叫做 属 
地 测试 。 如 前 所 述 ， 每 种 语言 都 可 能 有 多 个 属地 ， 在 属地 测试 中 需要 考虑 所 有 这 种 组 合 。 对 
于 每 个 组 合 ， 每 次 都 要 修改 计算 机 中 的 属地 设置 ， 以 测试 功能 和 显示 。 

只 要 属地 发 生变 化 ， 测 试 人 员 就 需要 理解 软件 功能 的 变化 。 这 需要 代码 有 效 化 方面 的 知 
识 。 如 果 代 码 有 效 化 做 得 不 对 ， 则 必须 测试 产品 每 个 属地 的 所 有 特性 。 但 是 在 实际 场景 中 ， 
每 个 功能 都 分 配 了 优先 级 (高 、 中 、 低 )， 并 根据 功能 的 优先 级 进行 测试 。 优 先 级 的 分 配 要 考 
虑 国际 客户 的 功能 重要 性 和 影响 。 由 于 属地 测试 是 软件 开发 生存 周期 V 字 模型 (请 参阅 图 9-2) 
中 组 件 测试 阶段 的 一 部 分 ， 可 以 针对 国际 化 测试 为 每 个 组 件 分 配 相对 优先 级 。 这 样 就 可 以 更 
关注 那些 对 客户 很 重要 的 功能 ， 以 及 有 效 化 不 好 的 组 件 的 属地 测试 。 属 地 测试 的 一 些 检 查 项 
包括 : 

1. 适用 于 国际 化 的 所 有 特性 都 要 采用 软件 所 针对 的 不 同属 地 进行 测试 。 不 被 认为 是 国际 
化 测试 的 一 些 活动 包括 审计 、 代 码 调 试 、 活 动 日 志 ， 以 及 只 供 使 用 英文 的 管理 员 和 程序 员 使 


有 效 化 测试 的 目标 
是 在 单元 测试 期 间 使 用 
国际 化 标准 验证 代码 。 
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用 的 特性 。 

2. 采用 不 同 可 用 的 属地 测试 热 键 、 功 能 键 和 帮助 屏 。( 即 检查 属地 变更 是 否 影 响 键盘 设置 。) 

3. 日 期 和 时 间 格 式 与 所 定义 的 语言 属地 一 致 。 例 如 ， 如 果 选 择 美 国 英文 属地 ， 则 软件 应 
该 显示 mm/dd/yyyy 日 期 格式 。 

4. 币 种 与 所 选择 的 属地 和 语言 一 致 。 例 如 ， 如 果 语 言 是 痪 大 利 亚 英 文 ， 则 币 种 应 该 是 
AUS$ 。 

5. 数字 格式 与 所 选择 的 属地 和 语言 一 致 。 例 如 ， 使 用 合适 的 十 进 制 标点 ， 并 且 标 点 放 在 
合适 的 位 置 。 

6. 考虑 了 时 区 信息 和 夏 时 制 时 间 计 算 一 致 性 〈 如 果 被 软件 使 用 ) ， 并 且 是 正确 的 。 

属地 测试 不 像 有 效 化 测试 或 本 章 介绍 的 其 他 测试 阶段 ， 是 一 个 专 
字 、 标 点 、 日 期 、 时 间 和 门 的 规程 。 属地 测试 关注 点 局 限于 属地 的 变更 ， 并 测试 日 期 、 币 种 格 
币 种 格式 的 表示 习俗 式 和 重要 功能 的 键盘 热 键 。 请 注意 ， 可 以 通过 操作 系统 的 设置 改变 服 

务 器 或 客户 机 的 属地 。 例 如 ， 在 Microsoft Windows 2000 中 ， 通 过 点 


属地 测试 关注 测试 数 





击 “ 启 动 一 > 设置 一 > 控制 面板 一 > 地 区 选项 ”改变 属地 。 


9.6 国际 化 确认 


国际 化 确认 与 国际 化 测试 不 同 。 国 际 化 测试 是 本 章 讨论 的 所 有 类 型 测试 的 超 集 。 实 施 国 
际 化 确认 的 目的 是 : 

1. 用 ASCII、DBCS 和 欧洲 字符 对 软件 功能 进行 测试 。 

2. 软件 对 所 选择 的 语言 和 字符 处 理 字符 串 操 作 、 排 序 和 队列 操作 。 

3. 软件 在 GUI 和 菜单 中 非 ASCII 字 符 的 显示 要 一 致 。 

4. 软件 消息 处 理 正确 。 

这 里 ， 对 测试 的 真正 挑战 是 非 ASCII 字 符 和 这 些 字符 对 软件 的 影响 。 为 此 ， 要 使 用 与 具 
体 语 言 相 关 的 键盘 和 能 够 生成 非 ASCII 字 符 的 工具 。IME (输入 方法 编辑 器 ) 是 Microsoft 平 
台 上 的 软件 工具 ， 可 以 用 来 向 软件 输入 非 英 文字 符 。 这 个 工具 有 助 于 生成 非 英文 ASCH 字 符 。 
在 Unix/Linux 平 台 上 有 大 量 类 似 工具 可 以 免费 下 载 。 其 中 很 多 工具 都 带 有 “ 软 键盘 ”"， 使 用 
户 能 够 以 目标 语言 输入 字符 。 图 9-4 显 示 了 输入 日 文 ( 片 假名 ) 字符 的 IME 软 键盘 布局 。 






”图 9.4 针对 日 文 的 IME 软 键盘 
国际 化 确认 检查 单 包括 以 下 检查 项 : 

1. 对 于 所 有 语言 和 属地 ， 功 能 不 变 。 

2. 排序 方法 符合 每 种 语言 和 属地 习俗 。 
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3. 能 够 使 用 工具 ， 例 如 IME， 将 非 ASCII 或 特殊 字符 输入 软件 ， 并 且 功 能 必须 一 致 

4. 名 称 中 的 非 ASCH 字 符 显示 与 所 输入 的 一 样 。 

5. 裁剪 或 复制 一 粘贴 非 ASCII 字 符 ， 在 粘贴 后 保留 其 风格 ， 软 件 能 够 正常 运行 。 

6. 对 于 采用 IME 和 其 他 工具 生成 的 不 同 语言 的 单词 和 名 称 ， 软 件 能 够 正常 运行 。 例 如 ， 
采用 英文 用 户 名 和 带 重 音字 符 的 德 文 用 户 名 登录 应 该 同样 有 效 。 

7. 文档 具有 一 致 的 文档 风格 、 标 点 ， 针 对 每 位 读者 遵循 所 有 语言 和 属地 习俗 。 

8. 软件 中 的 所 有 运行 时 消息 都 与 语言 、 国 家 术语 、 用 法 和 标点 一 致 。 例 如 ， 数 字 的 标点 
对 于 不 同 的 国家 是 不 同 的 。 货 币 量 123456789.00 在 美国 应 该 表示 为 123,456,789.00， 在 印度 应 
该 表示 为 12,34,56,789.00。 

引入 国际 化 确认 阶段 是 为 了 关注 所 有 组 件 中 的 消息 和 功能 中 所 有 与 界面 有 关 的 问题 ， 因 
为 下 一 阶段 将 进行 所 有 组 件 的 集成 。 重 要 的 是 ， 以 上 测试 要 在 实施 下 
一 级 测试 前 对 所 有 组 件 进行 。 下 一 阶段 是 假 语言 测试 。 





国际 化 确认 关注 组 

件 功能 的 非 英文 消息 输 
pT = MD 入 和 输 
9.7 假 语言 测试 和 输出 





假 语言 测试 采用 软件 翻译 器 尽早 捕获 翻译 和 本 地 化 问题 。 假 语言 测试 还 要 保证 语言 之 间 
能 够 正确 切换 ， 从 合适 的 包含 翻译 过 的 消息 目录 中 选择 正确 的 消息 。 假 语言 测试 有 助 于 在 产 
品 本 地 化 之 前 ， 主 动 地 发 现 问题 。 为 此 ， 要 从 软件 中 取出 所 有 消息 ， 并 通过 工具 转换 假 语言 
进行 测试 。 假 语言 翻译 器 采用 易于 理解 和 测试 的 类 英文 语言 。 这 类 测试 有 助 于 使 用 英文 的 测 
试 人 员 发 现 原本 只 能 由 语言 专家 在 本 地 化 测试 期 间 发 现 的 缺陷 。 图 9-5 展 示 了 假 语 言 测试 。 


Pig Latin 





Wide Roman 





图 9-5 假 语 言 测试 


在 图 9-5 中 使 用 了 两 种 类 英文 的 假 语 言 (Pig Latin 和 Wide Roman)。 程序 中 的 消息 “Hello” 
以 Pig Latin 显 示 为 “Ellohay”， 以 Wide Roman 显 示 为 “Hello”。 这 有 助 于 确定 采用 系统 设置 
动态 地 改变 语言 时 ， 软 件 是 否 能 够 选择 正确 的 语言 。 

以 下 是 假 语言 测试 检查 单 可 以 使 用 的 检查 项 : 

1. 保证 软件 功能 至 少 被 一 种 欧洲 单字 节 假 语言 (Pig Latin) 测试 过 。 

2. 保证 软件 功能 至 少 被 一 种 双 字 市 假 语言 (Wide Roman) 测试 过 。 

3. 保证 所 有 字符 串 能 够 在 屏幕 上 正确 显示 。 

4. 保证 弹出 窗口 和 对 话 框 的 宽度 和 大 小 足以 显示 假 语 言 字 符 串 。 


假 语 言 测 试 通过 软 
件 翻 译 器 ， 帮 助 模拟 一 
种 不 同 语 言 的 本 地 化 产 
品 功能 。 
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9.8 语言 测试 


语言 测试 是 “语言 兼容 性 测试 ”的 简称 。 语 言 测试 保证 采用 英文 创建 的 软件 在 英文 和 非 
”语言 测试 关注 用 产 英文 的 不 同 平台 和 环境 中 能 够 正常 运行 。 例 如 ， 如 果 软 件 应 用 程序 是 
品 的 金 球 环境 和 非 英 六 。 针对 Microsoft Windows 开 发 的 ， 那 么 就 要 使 用 Microsoft Windows 不 
服务 功能 测试 英文 软件 。 同 的 可 用 语言 设置 测试 该 软件 。 由 于 这 时 软件 还 没有 本 地 化 ， 还 会 组 
一 续 使 用 英文 打印 使 用 英文 消息 进行 交互 。 语 言 测 试 要 保证 在 其 他 语 

言 设 置 上 软件 不 会 崩溃 ， 仍 然 具 有 兼容 性 。 

图 9-6 给 出 了 语言 测试 和 在 客户 一 服务 器 体系 结构 中 必须 测试 的 各 种 属地 组 合 。 如 图 9-6 所 
示 ， 为 了 进行 语言 测试 ， 要 选择 一 种 欧洲 语言 代表 带 重音 的 字符 ， 选 择 一 种 双 字 节 语 言 的 代 
表 ， 以 及 一 种 默认 语言 ， 即 英文 。 





图 9-6 语言 测试 和 在 客户 一 服 


图 9-6 给 出 的 属地 组 合 的 绝 大 部 分 测试 要 保证 该 英文 软件 对 于 不 同 语言 平台 的 兼容 性 。 在 
测试 时 ， 重 要 的 是 要 检查 与 属地 有 关 的 问题 ， 因 为 属地 测试 没有 暴露 的 缺陷 在 语言 测试 中 可 
能 会 显示 出 来 。 

还 要 注意 理解 当 数 据 在 计算 机 之 间或 软件 和 操作 系统 之 间 传 递 时 ， 会 有 很 多 针对 国际 化 
的 代码 页 、 位 流 和 消息 转换 ， 这 一 点 很 重要 。 这 可 能 产生 一 些 功能 问题 。 因 为 要 进行 数据 转 
换 ， 最 好 能 够 设计 一 部 分 与 语言 测试 相关 的 性 能 测试 用 例 。 不 管 软件 、 操 作 系 统 或 其 组 合 使 
用 什么 语言 ， 都 预期 软件 应 该 有 类 似 的 性 能 。 这 一 点 需要 在 语言 测试 中 检验 。 

语言 测试 至 少 应 该 包含 以 下 检查 单 : 

1. 在 英文 、 一 个 非 英文 和 一 个 双 字 节 语言 平台 组 合 上 检查 功能 。 

2. 在 不 同 语言 平台 上 和 连接 到 网 络 上 的 不 同 计算 机 上 检查 关键 功能 的 性 能 。 


9.9 本 地 化 测试 


软件 接近 发 布 日 期 时 ， 要 将 消息 抽取 到 一 个 单独 的 文件 中 ， 并 提交 给 多 语言 专家 进行 翻 
译 。 采 用 一 套 构 建 工具 自动 提取 所 有 消息 和 其 他 资源 〈 例 如 GUI 屏幕 、 图 片 )， 并 存 人 独立 的 
文件 中 。 用 Microsoft 的 术语 说 ， 就 是 资源 文件 ， 在 一 些 其 他 平台 上 ， 这 叫做 消息 数据 库 。 如 
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前 所 述 ， 需 要 翻译 的 消息 要 与 消息 的 使 用 背景 说 明 一 同 提交 ， 以 便 得 到 更 好 的 翻译 。 多 语言 
专家 可 能 不 了 解 软件 或 软件 的 目标 客户 ， 因 此 ， 最 好 消息 中 不 要 包含 任何 技术 行 话 。 

本 地 化 是 一 种 非常 昂贵 和 费 工 的 过 程 。 并 不 是 属于 该 软件 的 所 有 消息 都 需要 翻译 。 有 些 
消息 可 能 是 供 管理 员 和 开发 人 员 看 的 ， 可 能 不 是 给 目标 用 户 看 的 。 这 类 消息 不 需要 翻译 ， 应 
该 排除 在 供 翻 译 的 文件 外 。 在 翻译 时 ， 不 仅 是 消息 ， 而 且 像 GUI 屏 幕 、 对 话 框 、 图 标 和 位 图 
这 样 的 资源 也 是 本 地 化 的 对 象 ， 因 为 需要 改变 尺寸 和 定制 与 翻译 后 的 消息 匹配 。 定 制 是 很 重 
要 的 ， 因 为 滚动 方向 和 阅读 方向 在 一 些 语言 中 是 不 同 的 。 图 9-7 和 以 下 的 解释 有 助 于 理解 定制 
对 于 不 同 习俗 的 重要 性 。 











美国 
阿拉 伯 国 家 


图 9-7 阅读 方向 的 差别 
当 向 讲 英文 的 国家 的 人 展示 图 9-7 时 ， 他 们 会 理解 左 侧 的 脏 圆 领 汗 衫 在 投入 洗衣 机 内 后 会 


变 成 右 侧 的 干净 圆 领 汗 衫 。 这 种 理解 是 因为 这 些 国家 习惯 从 左 到 右 阅 





读 。 如 果 把 这 幅 图 展示 给 阿拉 伯 国 家 的 人 看 ， 他 们 会 认为 干净 的 圆 领 国际 化 后 产品 就 真正 
证 衫 投入 洗衣 机 后 变 成 脏 的 ， 因 为 他 们 的 阅读 方向 是 从 右 到 左 ! 全 球 化 了 ， 能 够 以 不 同 

因此 资源 定制 对 于 软件 本 地 化 是 非常 重要 的 。 不 仅 软件 ,文档 也 的 语言 运行 ， 并 能 与 其 
需要 针对 目标 语言 和 习俗 进行 本 地 化 。 生化 六 贡 一 直 过 条 。 





本 地 化 之 后 的 下 一 步 是 进行 本 地 化 测试 。 如 前 所 述 ， 翻 译 了 消息 、 
文档 ， 定 制 了 资源 后 ， 要 启动 一 个 测试 周期 ， 检 查 软件 功能 在 本 地 化 环境 中 是 否 能 像 预 期 的 
一 样 。 这 叫做 本 地 化 测试 。 这 种 测试 需要 懂 英文 和 目标 语言 ， 并 且 具 有 软件 和 运行 原理 知识 
的 语言 专家 。 以 下 检查 单 有 助 于 实施 本 地 化 测试 : 
。 所 有 消息 、 文 档 、 图 片 、 屏 幕 都 要 本 地 化 ， 以 反映 当地 用 户 和 国家 、 属 地 和 语言 的 习俗 。 
。 排序 和 大 小 写 转换 符合 语言 习俗 。 例 如 ， 英 文 排序 顺序 是 A、B、C、D、BE， 而 在 西 班 
牙 文 中 ， 排 序 顺序 是 A、B、C、CH、D、E， 如 图 9-8 所 示 。 
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图 9-8 英文 与 西班牙 文 的 排序 顺序 
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。 在 翻译 后 的 消息 、 文 档 和 屏幕 中 ， 字 体 大 小 和 热 键 仍然 有 效 。 
。 软 件 的 过 滤 和 搜索 能 力 与 语言 和 属地 习俗 一 致 。 
。 本 地 化 软件 中 的 地 址 、 电 话 号 码 、 数 字 和 邮政 编码 与 目标 用 户 的 习俗 一 致 。 


9.10 国际 化 使 用 的 工具 


已 经 有 一 些 针 对 国际 化 的 工具 ， 很 大 程度 上 取决 于 所 使 用 的 技术 和 平台 。 例 如 ， 针 对 客 
户 一 服务 器 技术 的 工具 与 针对 使 用 Java 的 Web 服 务 技术 的 工具 是 不 同 的 。 表 9-2 给 出 了 一 些 已 
有 的 样本 免费 工具 。 产 品 和 平台 不 同 ， 对 国际 化 测试 的 需求 也 会 不 同 。 因 此 ， 公 司 在 选择 合 
适 的 工具 前 ， 应 该 仔细 地 进行 研究 。 


表 9-2 样本 国际 化 工具 




















序号 ”Microsoft 操 作 系 统 工具 样本 清单 Linux 操 作 系 统 工具 名 称 用 途 
1 微软 本 地 化 工作 室 GNU gettxt() 有 效 化 和 有 效 化 测试 
2 http://BabelFish.Altavista.com http://BabelFish.Altavista.com 假 语言 测试 
3 微软 地 区 设置 LANG 和 环境 变量 集 属地 测试 
4 IME 统一 码 IME (有 来 自 不 同 公司 的 多 个 变种 ) 国际 化 确认 
S http://www.snowcrest.net/ http://www.snowcrest.net/ 假 语 言 测 试 (例如 Pig Latin) 
donnelly/piglatin.html donnelly/piglatin.html 


9.11 挑战 与 问题 


本 章 列 出 的 活动 有 很 多 挑战 和 问题 。 第 一 个 问题 涉及 归属 。 一 些 软 件 工程 专家 认为 国际 
化 和 本 地 化 是 翻译 团队 的 问题 。 这 是 不 对 的 。 使 产品 在 市 场 上 具备 不 具备 国际 性 与 开发 产品 
的 每 个 人 都 有 关系 。 正 如 本 章 所 介绍 的 ， 国 际 化 工作 散布 在 整个 软件 开发 生存 周期 中 。 因 此 ， 
国际 化 的 责任 并 不 只 局 限于 翻译 团队 。 很 多 公司 都 认为 他 们 能 够 负担 得 起 用 一 支 单独 的 队伍 ， 
策划 产品 采用 英文 开发 后 对 产品 进行 必要 的 国际 化 修改 。 本 章 已 经 说 过 ， 实 践 证 明 从 长 远 看 
这 是 不 经 济 和 低 效 的 。 

国际 化 相信 “在 第 一 时 间 完 成 ”"。 较 后 进行 国际 化 或 发 布 支持 包 或 补丁 ,或 以 后 进行 修改 ， 
都 不 能 认为 是 同一 个 软件 、 发 布 版 ， 其 至 不 可 行 。 保 证 软件 能 够 以 不 同 语言 运行 的 国际 化 工 
作 ， 不 能 拖 到 下 一 个 发 布 版 本 。 类 似 地 ， 如 果 产 品 的 英文 版 已 经 发 布 ， 本 地 化 测试 也 是 唯一 
可 以 推迟 到 下 一 个 发 布 版 本 的 测试 阶段 。 

对 术语 、 活 动 和 阶段 有 多 种 解释 。 只 要 满足 本 章 所 讨论 的 目标 ， 这 些 解 释 的 差别 是 微 不 
足 道 的 。 在 本 章 介绍 的 多 种 测试 活动 之 间 并 没有 鲜明 的 界限 。 测 试 工程 师 可 以 合并 两 种 或 三 
种 国际 化 测试 ， 一 次 完成 。 例 如 ， 属 地 测试 、 国 际 化 确认 和 假 语言 测试 可 以 合并 为 “国际 化 
测试 ”。 

国际 化 测试 还 没有 像 其 他 类 型 的 测试 那样 得 到 人 们 的 理解 。 国 际 化 测试 缺少 标准 工具 和 
不 够 清晰 ， 进 一 步 使 这 个 问题 复杂 化 。 开 发 界 也 面临 类 似 的 挑战 ， 因 为 有 很 多 变种 。 这 对 于 
研究 开发 解决 这 些 问 题 的 模型 和 方法 论 来 说 ， 既 是 挑战 也 是 机 遇 。 本 章 讨论 的 内 容 只 是 这 个 
领域 的 冰山 一 角 。 
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问题 与 练习 

1. 请 针对 自 底 向 上 、 从 左 到 右 和 从 右 到 左 滚动 ， 各 确定 至 少 一 种 语言 。 
2. 为 什么 国际 化 和 本 地 化 表示 为 lsn 和 Lion? 

3. 配置 管理 在 国际 化 中 扮演 什么 具体 角色 ? 

4. 请 给 出 两 种 假 语言 以 及 能 够 支持 其 使 用 的 相应 工具 。 

5. 完成 本 地 化 测试 需要 什么 基本 技能 ? 

6. 为 什么 统一 码 在 国际 化 中 的 地 位 非常 独特 ? 

7. 请 给 出 单元 、 组 件 、 集 成 和 系统 测试 阶段 中 的 国际 化 活动 。 


第 10 章 即兴 测试 


10.1 即兴 测试 概述 


前 面 各 章 已 经 介绍 过 ， 有 很 多 测试 技术 和 类 型 都 可 以 帮助 发 现 大 量 缺陷 ， 从 而 提高 产品 
的 质量 ， 最 大 限度 地 降低 发 布 产品 的 风险 。 各 章 介绍 的 所 有 类 型 的 测试 都 是 计划 测试 的 一 部 
分 ， 并 采用 一 定 的 具体 技术 实施 (例如 边界 值 分 析 )。 在 本 章 中 ， 将 研究 采用 无 计划 形式 实施 
的 一 组 测试 (所 以 叫做 即兴 测试 )。 本 章 将 讨论 即兴 测试 的 特点 ， 稍 后 介绍 即兴 测试 活动 与 计 
划 测 试 活动 相 比 的 相对 位 置 ， 然 后 在 后 续 各 节 讨论 其 他 相关 类 型 的 即兴 测试 ， 即 伙伴 测试 、 
探索 式 测 试 、 结 对 测试 、 和 迭代 式 测 试 、 敏 捷 与 极限 测试 和 缺陷 播种 。 本 章 将 比较 所 有 这 些 方 
法 ， 讨 论 每 种 方法 适用 (和 不 适用 ) 的 场景 。 

前 面 各 章 讨论 的 计划 测试 是 由 测试 工程 师 及 其 在 特定 时 间 段 内 对 产品 的 理解 驱动 的 。 假 
设 被 测 产品 以 某 个 特定 模式 运行 ， 正 如 需求 文档 和 其 他 规格 说 明 所 描述 的 那样 。 这 种 假设 的 
正确 性 可 以 在 产品 实现 并 准备 测试 时 检验 。 测 试 工程 师 使 用 该 产品 越 多 ， 对 它 的 理解 也 就 越 
好 。 到 了 所 实现 的 系统 被 完全 理解 时 可 能 已 经 为 时 过 晚 ， 已 经 没有 足够 的 时 间 完 成 详细 的 测 
试 文档 。 因 此 ， 不 仅 需 要 根据 所 计划 的 测试 用 例 进行 测试 ， 还 需要 根据 使 用 产品 所 获得 的 更 
好 理解 进行 测试 。 

计划 测试 面临 的 一 些 问题 包括 : 

1. 需求 和 其 他 规格 说 明文 档 不 够 清晰 。 

2. 缺少 实施 测试 的 技能 。 

3. 缺少 测试 设计 的 时 间 。 

首先 ， 执 行 了 一 些 经 过 计划 的 测试 用 例 后 ， 需 求 的 清晰 性 得 到 改善 。 但 是 ， 早 先 编写 的 
测试 用 例 可 能 不 能 反映 在 这 个 过 程 中 需求 清晰 性 的 改善 。 其 次 ， 经 过 一 轮 计 划 测 试 的 执行 ， 
测试 工程 师 的 技能 得 到 提高 ， 但 是 测试 用 例 可 能 并 没有 更 新 ， 以 反映 这 种 技能 上 的 提高 。 最 
后 ， 测 试 设计 时 间 不 够 会 影响 测试 的 质量 ， 可 能 考虑 不 够 周全 。 

计划 测试 能 够 捕获 一 些 类 型 的 缺陷 。 虽 然 计划 测试 有 助 于 提高 测试 人 员 的 信心 ， 但 经 常 发 
现 关 键 缺 陷 的 ， 却 正 是 测试 人 员 的 “直觉 ”。 这 是 因为 没有 哪 份 规格 说 明 能 够 完备 地 提供 测试 
所 需要 的 所 有 视角 。 正 如 第 4 章 讨论 领域 测试 时 所 提 到 的 ， 有 时 没有 规格 说 明 的 测试 和 让 该 领 
域 专家 测试 产品 会 带 来 新 的 视角 ， 有 助 于 发 现 缺陷 的 新 类 型 。 当 测试 人 员 的 思想 “冲破 牢 党 ， 
这 些 视角 就 会 不 断 动 态 地 演化 。 有 可 能 在 计划 测试 中 遗漏 一 些 最 关键 的 视角 ， 以 后 又 被 测试 人 
员 发 现 。 因 此 ， 测 试 人 员 的 直觉 起 着 很 重要 的 作用 。 不 仅 如 此 ， 正 如 前 面 所 提 到 过 的 ， 测 试 人 
员 随 着 对 产品 理解 不 断 清 晰 所 获得 的 直觉 和 技能 没有 被 已 经 设计 好 了 的 测试 用 例 反映 出 来 。 

即兴 测试 试图 为 解决 这 些 问题 搭建 了 一 座 桥梁 。 即 兴 测 试 通过 直觉 、 以 前 使 用 产品 的 经 
验 、 平 台 或 技术 方面 的 专业 知识 以 及 测试 类 似 产品 的 经 验 ， 探 索 产 品 未 被 发 现 的 区 域 。 即 兴 
测试 一 般 用 于 发 现 计划 测试 没有 发 现 的 缺陷 。 

即兴 测试 不 使 用 任何 测试 用 例 设计 技术 ， 例 如 等 价 类 划分 、 边 界 值 分 析 等 。 
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第 1 章 的 “ 杀 虫 剂 悖 论 ” 介 绍 过 ， 农 场 存 活 下 来 的 害虫 可 产生 对 特定 杀 虫 剂 的 抗 药 性 。 这 
种 情况 要 求 农 场 主 每 次 在 下 一 个 栽培 周期 内 使 用 一 种 不 同类 型 的 杀 虫 剂 。 类 似 地 ， 产 品 缺 陷 
逃 过 了 计划 测试 用 例 ， 这 些 测试 用 例 在 下 一 个 测试 周期 可 能 也 不 能 发 现 缺陷 ， 除 非 引 入 新 的 
视点 。 因 此 ， 计 划 测 试用 例 需 要 不 断 更 新 ， 有 时 更 新 闻 隔 时 间 甚至 只 有 一 天 ， 以 吸收 新 得 到 
的 信息 。 但 是 ， 非 常 频 繁 地 更 新 测试 用 例 是 (或 感觉 上 是 ) 非常 耗 时 和 繁琐 的 工作 。 在 这 种 
情况 下 ， 人 们 采用 即兴 测试 ， 即 不 要 求 正式 和 及 时 地 变更 测试 用 例 地 进行 测试 。 

图 10-1 给 出 了 即兴 测试 的 各 个 步骤 ， 并 说 明了 即兴 测试 和 计划 测试 之 间 的 基本 差别 。 计 
划 测 试 和 即兴 测试 之 间 最 本 质 的 区 别 是 ， 即 兴 测 试 的 测试 执行 和 测试 报告 生成 在 测试 用 例 设 
计 之 前 完成 。 即 兴 测 试 的 名 称 突出 了 执行 先 于 设计 的 特点 。 








测试 报告 生成 


测试 报告 生成 





计划 测试 即兴 风 试 
图 10-1 即兴 测试 与 计划 测试 的 对 比 


由 于 即兴 测试 引入 了 新 的 视角 ， 因 此 需要 知道 已 有 的 计划 测试 活动 所 覆盖 的 内 容 ， 以 及 
产品 中 的 什么 变化 会 引起 测试 功能 的 变化 。 

与 开发 人 员 和 其 他 项 目 团 队 成 员 不 断 进行 交互 会 更 好 地 从 不 同 视角 理解 产品 。 由 于 即兴 
测试 要 求 对 产品 有 更 好 的 理解 ， 因 此 “保持 联系 ”是 很 重要 的 。 项 目 评审 会 是 另 一 个 获取 产 
品 信息 的 好 场所 。 

很 多 时 候 ， 由 于 缺乏 沟通 ， 需 求 变更 可 能 没有 通知 给 测试 团队 。 如 果 测 试 工程 师 不 知道 
需求 变更 ， 就 有 可 能 遗漏 一 些 测试 ， 导 致 有 些 缺 陷 没 有 被 发 现 。 到 了 被 变更 的 需求 被 注意 到 
时 ， 可 能 已 经 为 时 过 晚 ， 不 能 将 其 在 计划 测试 用 例 中 反映 出 来 。 

与 开发 人 员 和 其 他 项 目 团 队 成 员 进 行 交 互 可 能 只 能 帮助 得 到 一 组 视角 ， 有 时 这 种 交互 可 
能 使 测试 团队 产生 偏见 ， 可 能 会 被 开发 人 员 和 其 他 团队 成 员 所 说 的 话 牵 着 走 。 因 此 ， 重 要 的 
是 要 不 断 对 测试 用 例 提出 问题 ， 还 要 与 公司 外 的 人 (例如 客户 ) 进行 交互 ， 以 发 现 使 用 产品 
的 不 同方 法 ， 并 在 即兴 测试 中 使 用 。 

前 面 已 经 把 以 前 的 测试 活动 叫做 “计划 测试 "。 但 是 这 并 不 意味 着 即兴 测试 是 一 种 没有 计 
划 的 活动 。 即 兴 测 试 是 一 种 有 计划 的 活动 ， 只 是 测试 用 例 开 始 时 没有 写 入 文档 。 即 兴 测 试 可 
以 随时 对 产品 实施 ， 但 是 ， 如 果 在 执行 即兴 测试 之 前 首先 执行 计划 测试 用 例 ， 则 即兴 测试 得 
到 的 收获 会 更 多 。 即 兴 测 试 可 以 采用 以 下 两 种 方式 之 一 策划 : 

1. 在 一 定数 量 的 计划 测试 用 例 执行 以 后 。 在 这 种 情况 下 ， 产 品 可 能 处 于 更 好 的 状态 ， 因 
此 可 能 发 现 更 新 的 视角 和 缺陷 。 由 于 即兴 测试 不 要 求 立 即将 所 有 测试 用 例 写 人 文档 ， 因 此 这 
提供 了 以 最 短 的 时 间 延 迟 获 得 多 个 遗漏 视角 的 机 会 。 

2. 在 计划 测试 之 前 。 这 样 能 够 更 清楚 需求 ， 并 能 更 好 地 评估 产品 的 质量 。 

两 种 方式 的 策划 目标 都 是 要 使 即兴 测试 成 为 其 他 测试 活动 的 补充 和 互补 ， 以 最 小 的 时 间 
延迟 发 现 新 的 视角 。 : 
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前 面 已 经 讨论 过 ， 即 兴 测 试 不 要 求 将 测试 用 例 写 入 文档 。 这 只 适用 于 测试 执行 阶段 。 测 
试 执行 结束 后 ， 即 兴 测 试 要 求 将 测试 过 的 所 有 视角 作为 一 组 测试 用 例 写 入 文档 。 这 些 测 试用 
例 将 成 为 下 一 轮 测 试 执行 的 一 部 分 。 遵 循 这 种 方法 可 保证 两 件 事 : 第 一 ， 在 一 轮 即兴 测试 中 
得 到 的 视角 被 正式 获得 ， 不 会 丢失 。 第 二 ， 后 续 轮 次 的 即兴 测试 将 带 来 新 的 视角 ， 不 会 重复 
已 做 过 的 事情 。 这 可 以 保证 即兴 测试 每 次 都 是 以 直觉 为 基础 的 。 显 然 ， 如 果 一 次 次 地 覆盖 同 
样 的 视角 ， 那 就 不 再 是 即兴 测试 了 。 

即兴 测试 可 以 用 来 不 断 切 换 软 件 使 用 的 背景 ， 以 在 更 短 的 时 间 内 覆盖 更 多 的 功能 。 例 如 ， 
不 是 端 到 端 地 测试 给 定 功能 ， 即 兴 测 试 可 能 要 求 测 试 人 员 在 不 同 的 功能 和 屏幕 之 间 跳 过 。 这 
就 是 所 谓 的 “随机 采样 测试 "。 这 种 测试 随机 使 用 软件 不 同 组 件 的 功能 ， 不 考虑 要 测试 的 是 哪 
个 功能 及 其 对 每 个 组 件 的 覆盖 情况 。 由 于 这 种 技术 类 似 猴子 从 一 棵 树 上 跳 到 另 一 棵 树 寻 找 更 
好 的 果子 (希望 如 此 ! )， 认 为 给 定 树 上 的 果子 都 是 类 似 的 ， 因 此 叫做 “猴子 测试 ”。 

前 面 已 经 提 到 即兴 测试 一 般 要 结合 计划 测试 进行 ， 因 此 下 面 的 问题 就 是 如 何在 计划 测试 
和 即兴 测试 之 间 分 配 工作 量 。 完 全 依靠 常规 测试 用 例 或 完全 依靠 即兴 测试 都 不 是 好 主意 。 将 
两 者 有 机 地 结合 起 来 (如果 需求 相当 稳定 和 清晰 ， 可 以 将 比方 说 95% 


不 采用 任何 形 科 化 ”的 工作 量 放 在 常规 测试 上 ，5 允 的 工作 量 放 在 即兴 测试 上 ) 通常 比 只 


fs 的 测试 叫做 即 依靠 计划 测试 或 即兴 测试 更 有 效 。 对 于 需求 不 够 清晰 和 持 失 的 情况 ， 


要 相应 地 增加 即兴 测试 工作 量 。 
即兴 测试 作为 一 种 在 即将 发 布 前 增加 信心 的 手段 ， 保 证 测试 没有 遗漏 任何 区 域 。 即 兴 测 
试 可 以 包括 已 经 被 常规 测试 测试 过 的 区 域 ， 并 以 有 计划 的 方式 关注 遗漏 的 区 域 。 这 仍然 叫做 
即兴 测试 ， 因 为 测试 用 例 没 有 写 入 文档。 
虽然 即兴 测试 有 很 多 优点 ， 但 还 是 有 一 些 缺点 。 表 10-1 列 出 了 这 些 缺 点 及 其 解决 方案 。 


表 10-1 即兴 测试 的 缺点 及 其 解决 方案 





缺 ”点 
很 难保 证 融入 即兴 测试 所 了 解 到 的 信息 能 够 在 未 来 使 用 
在 即兴 测试 中 发 现 大 量 缺 陷 






可 能 的 解决 方案 
。 测 试 结束 后 将 即兴 测试 用 例 写 入 文档 
。 安 排 一 次 会 议 ， 讨 论 缺 陷 影响 
。 改 进 计划 测试 的 测试 用 例 






















不 了 解 即兴 测试 的 覆盖 率 。 在 编写 测试 报告 时 ， 将 计划 测试 和 即兴 测试 结合 起 来 
。 策 划 补 充 计划 测试 和 即兴 测试 
很 难 跟踪 确切 步 又 。 以 一 步 一 步 的 方式 编写 详细 缺陷 报告 


。 测试 执行 结束 后 将 即兴 测试 用 例 写 人 文档 
。 为 计划 测试 和 即兴 测试 策划 指标 采集 





缺少 用 于 指标 分 析 的 数据 





即兴 测试 适用 于 所 有 测试 阶段 。 在 单元 测试 期 间 进行 即兴 测试 可 提高 需求 的 清晰 性 ， 确 
定 遗 漏 的 代码 ， 并 尽早 发 现 缺陷 。 在 组 件 和 集成 测试 阶段 进行 即兴 测试 可 以 发 现 以 前 的 计划 
测试 用 例 疫 有 发 现 的 缺陷 。 在 系统 和 确认 测试 阶段 进行 即兴 测试 可 以 增强 对 产品 的 信心 ， 发 
现 可 能 会 遗漏 并 造成 损失 的 缺陷 。 

在 即兴 测试 下 有 不 同 的 变种 和 测试 类 型 ， 以 下 分 别 进行 描述 。 


10.2 伙伴 测试 


这 种 测试 利用 了 “伙伴 系统 ”实践 ， 即 两 个 团队 成 员 组 成 伙伴 。 伙 伴 相互 帮助 ， 共 同 的 
目标 是 尽早 发 现 缺陷 并 将 其 改正 。 
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一 个 开发 人 员 和 一 个 测试 人 员 通 常 可 以 结 成 伙伴 。 将 人 们 组 织 起 来 形成 良好 的 伙伴 工作 
关系 ， 克 服 理 解 上 的 问题 ,会 具有 优势 。 另 一 方面 ， 如 果 把 伙伴 关系 映射 到 一 种 两 人 完全 一 
样 的 观点 和 方法 ， 得 不 到 两 人 之 间 所 要 求 的 多 样 性 ， 这 样 会 降低 测试 的 有 效 性 。 具 有 良好 的 
工作 关系 ， 同 时 又 具有 不 同 的 背景 ， 这 样 的 伙伴 可 以 提高 尽早 发 现 程序 错误 的 机 会 。 

在 伙伴 测试 期 间 ， 伙 伴 不 应 感到 相互 威胁 或 感到 不 安全 。 他 们 要 (如 果 要 求 ) 接受 伙伴 
测试 价值 观 和 目标 的 培训 〈 即 尽早 找 出 并 改正 产品 中 的 缺陷 ) 。 应 该 使 他 们 欣赏 彼此 的 责任 。 
在 实际 开始 测试 工作 之 前 ， 他 们 还 要 就 工作 形式 和 条 款 达 成 一 致 ， 保 持 密切 联系 ， 能 够 执行 
所 约定 的 计划 。 

在 伙伴 测试 开始 前 ， 代 码 要 经 过 单元 测试 ， 以 保证 代码 完成 所 期 望 的 工作 。 代 码 成 功 地 
通过 单元 测试 后 ， 开 发 人 员 要 接近 测试 伙伴 。 在 单元 测试 完成 之 前 开始 伙伴 测试 可 能 导致 伙 
伴 之 间 就 没有 满足 所 描述 需求 的 代码 进行 长 时 间 的 讨论 。 这 反 过 来 会 前 弱 伙 伴 的 信心 ， 造 成 
不 必要 的 返工 。 

伙伴 可 以 检查 编码 标准 的 符合 性 、 合 适 的 变量 定义 、 遗 漏 代码 、 足 够 的 线 内 代码 文档 、 
错误 检查 等 。 伙 伴 测 试 既 使 用 白 盒 测 试 方法 也 使 用 黑 盒 测试 方法 。 测 试 以 后 ， 伙 伴 会 编写 一 
份 具体 的 总 结 评论 指出 具体 的 缺陷 。 这 些 报告 送 给 开发 人 员 。 反 馈 越 具体 ， 开 发 人 员 越 容易 
修改 缺陷 。 伙 伴 在 指出 工作 产品 中 的 错误 时 ， 还 会 就 代码 修改 提出 建议 。 

开发 人 员 研 究 伙伴 的 评论 ， 如 果 伙 伴 同意 ， 就 实现 适当 的 修改 。 否 则 ， 两 个 人 讨论 评论 
并 得 出 结论 。 在 得 出 结论 和 采取 措施 时 ， 不 要 以 自我 为 中 心 或 个 人 化 地 对 待 缺陷 和 总 结 评论 。 
这 就 是 为 什么 伙伴 之 间 融 洽 的 个 人 关系 是 伙伴 测试 成 功 的 基础 。 

伙伴 测试 通过 伙伴 之 间 的 不 同 视角 或 交互 式 交 换 思想 ， 有 助 于 避免 出 现 遗 漏 、 误 解 和 沟 
通 不 够 的 错误 。 伙 伴 测试 不 仅 有 助 于 发 现代 码 中 的 错误 ， 还 可 以 帮助 测试 人 员 了 解 代码 编写 
的 方式 ， 并 提供 规格 说 明 的 清晰 性 ， 有 助 于 作为 伙伴 的 测试 人 员 为 后 
续 计划 测试 制定 出 更 好 的 测试 策略 。 

伙伴 测试 一 般 在 单元 测试 阶段 进行 ， 这 时 编码 和 测试 活动 同时 进 
行 。 伙 伴 测 试 针对 产品 中 新 的 或 关键 模块 ， 其 规格 说 明 对 于 充当 开发 
人 员 和 测试 人 员 不 同 角色 的 伙伴 来 说 不 够 清楚 。 


10.3 结对 测试 


对 于 这 种 类 型 的 测试 ， 两 个 测试 人 员 结 成 对 子 ， 在 同一 台 计 算 机 上 测试 产品 的 特性 。 结 
对 测试 的 目标 是 在 两 名 测试 人 员 之 间 最 大 限度 地 交换 思想 。 当 一 个 人 在 执行 测试 用 例 时 ， 另 
一 个 人 记录 ， 并 提出 建议 或 帮助 提供 额外 的 视角 。 

并 不 要 求 一 个 人 在 整个 过 程 中 始终 充当 一 种 角色 ， 在 测试 过 程 中 “测试 人 员 ” 和 “记录 员 ” 
可 以 互 换 角色 ， 可 以 协商 确定 具体 做 法 。 一 个 人 在 一 天 内 的 不 同 测试 时 点 ， 可 以 和 多 个 人 结 成 
对 子 。 结 对 测试 通常 是 大 约 一 两 个 小 时 的 专题 讨论 ， 由 结对 双方 决定 测试 功能 的 不 同方 法 。 





开发 人 员 和 测试 人 
员 像 伙伴 一 样 地 工作 ， 
在 测试 和 理解 规格 说 明 
上 相互 帮助 ， 这 种 测试 
叫做 伙伴 测试 。 





举 一 个 例子 。 有 两 个 人 在 一 个 新 的 地 区 开车 寻找 一 个 地 方 ， 一 个 人 开车 ， 一 个 
人 借助 地 图 进行 导航 。 
在 上 面 的 例子 中 ， 如 果 两 个 人 把 想法 合 在 一 起 ， 并 在 两 人 之 间 


分 配 具体 的 导航 和 开车 角色 ， 那 么 找 新 地 方 (就 像 查找 产品 待 探索 
区 域 的 缺陷 ) 就 会 变 得 容易 一 些 ， 
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结对 测试 利用 了 以 上 例子 介绍 的 概念 。 资 深 成 员 参 与 也 有 助 于 结对 测试 ， 可 以 缩短 学 习 
产品 所 需 的 时 间 ， 还 可 以 给 团队 成 员 提 供 更 好 的 培训 ， 可 以 充分 理解 需求 的 影响 ， 并 向 经 验 
对 出 斌 中 两 较 少 的 人 解释 。 从 以 上 讨论 可 以 得 出 结论 ， 结 对 测试 的 目标 是 通过 交 
未 油 该 大 员 辣 肝 合用 二 换 思 想 找 出 缺陷 。 实 践 证 明 ， 如 果 两 个 成 员 能 够 很 好 协作 ， 不 断交 流 
台 计 算 机 犁 我 产品 中 的 对 产品 的 理解 ， 那 么 结对 测试 就 是 很 有 效 的 。 
最 后 结对 测试 可 以 在 任何 测试 阶段 开展 。 最 好 从 需求 分 析 阶 段 就 产生 
一 一 一 一 一 一 一 一 一 想法 ,一直 延续 到 设计 、 编 码 和 测试 阶段 。 在 编码 阶段 ， 测 试 人 员 可 
以 结 成 对 子 ， 产 生 各 种 测试 代码 和 各 种 组 件 的 想法 。 组 件 测试 完成 后 ， 在 集成 期 间 ， 测 试 人 
员 可 以 结对 测试 接口 。 系 统 测试 期 间 的 结对 测试 则 要 保证 发 现 并 解决 产品 级 缺陷 。 缺 陷 复 现 
对 于 结对 测试 变 得 很 容易 ， 因 为 两 个 测试 人 员 可 以 讨论 并 复 现 测试 步 又 。 
如 果 待 测 产 品 属于 新 领域 ,没有 多 少 人 具有 所 和 需 的 领域 知识 ， 那 么 结对 测试 就 派 上 用 场 
了 。 结 对 测试 有 助 于 通过 结对 ， 由 有 经 验 的 测试 人 员 对 没有 经 验 的 成 员 进行 指导 。 如 果 项 目 
进度 计划 安排 很 紧 ， 可 能 很 难 对 所 有 成 员 进 行 培训 。 通 过 更 有 经 验 的 成 员 对 新 成 员 提供 经 沼 
持续 的 指导 ， 结 对 测试 可 以 解决 这 个 问题 。 
当 计 划 测 试 没 有 发 现 关 键 缺陷 时 ， 可 以 进一步 测试 产品 探索 潜在 的 缺陷 。 结 对 测试 可 以 
发 现 那些 单 人 测试 很 难 发 现 的 缺陷 。 在 这 种 结对 测试 中 发 现 的 缺陷 可 以 由 两 个 成 员 的 代表 进 
行 更 好 的 解释 ， 这 上 比 单 个 成 员 判 断 缺 陷 及 其 背景 更 好 。 
结对 测试 是 “结对 编程 ”的 扩展 ， 结 对 编程 概念 在 极限 编程 模型 中 使 用 。 结 对 测试 在 实 
践 中 比 结对 编程 早 得 多 ， 但 是 实践 证 明 通 过 结对 概念 得 到 的 推动 同样 适用 于 编码 和 测试 。 
前 面 已 经 介绍 过 ， 结 对 测试 要 求 在 两 个 人 之 间 交 互 和 交换 思想 ， 正 如 格言 “三 个 臭 皮 匠 
顶 个 诸葛 亮 ” 所 说 的 ， 结 对 测试 有 更 多 的 机 会 尽早 报告 重要 的 缺陷 ， 使 项 目 团队 能 够 尽早 修 
改 产 品 中 的 重要 缺陷 。 两 个 成 员 经 常 一 起 发 现 缺陷 。 在 这 种 情况 下 ， 两 个 人 对 需求 或 产品 功 
能 的 理解 有 助 于 不 报告 并 不 重要 的 缺陷 。 
由 于 团队 成 员 在 项 目 生 存 周期 内 要 与 其 他 人 结对 ， 整 个 项 目 团队 都 会 更 好 地 相互 了 解 ， 
还 使 对 不 同 组 件 的 认识 在 团队 内 更 广 地 传播 ， 能 够 更 好 地 促进 团队 工作 。 项 目 状态 会 议和 团 
队 会 议 现在 有 了 新 的 含义 ， 因 为 现在 每 个 人 都 关注 整个 产品 的 交付 (而 不 是 这 样 的 态度 ;“ 这 
是 我 的 模块 、 我 的 程序 、 我 的 测试 用 例 和 测试 计划 ”)。 
不 适合 结对 测试 的 情况 
讨论 了 结对 测试 的 优点 ， 下 面 介绍 不 适合 结对 测试 的 情况 。 
在 结对 过 程 中 ， 两 个 人 中 表现 好 的 人 会 带 来 问题 。 有 可 能 在 协作 过 程 中 ， 一 个 人 处 于 主 
导 地 位 ， 另 一 个 人 处 于 被 动 地 位 。 这 样 可 能 不 会 产生 预期 的 结果 。 如 果 对 子 中 的 两 个 人 不 尽 
力 理解 和 尊重 对 方 ， 结 对 测试 就 可 能 变 成 支配 关系 ， 造 成 失败 。 
当 一 个 成 员 在 计算 机 上 工作 ， 另 一 个 成 员 充当 记录 员 和 角色 时 ， 如 果 他 们 的 理解 和 执行 速 
度 不 匹配 ， 就 会 导致 出 现 不 耐烦 的 情况 ， 以 后 阶段 也 很 难 改变 这 种 状况 。 由 于 花 在 测试 人 员 
交互 上 的 时 间 过 多 ， 结 对 测试 可 能 造成 延迟 (如 果 策 划 不 周 )。 
有 时 新 手 和 有 经 验 的 成 员 结对 可 能 导致 出 现 让 新 手 干 老手 不 想 干 的 情况 。 到 了 合作 结束 
时 ， 不 知道 是 谁 负 责 主导 的 测试 工作 、 掌 握 的 方向 和 提交 的 测试 结 采 。 


10.4 探索 式 测试 
即兴 测试 中 发 现 缺 陷 的 另 一 种 技术 是 不 断 探索 产品 ， 覆 盖 更 深 更 广 。 探 索 式 .测试 试图 遂 
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过 具体 的 目标 、 任 务 和 计划 做 到 这 一 点 。 探 索 式 测试 可 以 在 任何 测试 阶段 期 间 实 施 ， 

探索 式 测试 人 员 可 以 根据 以 往 对 类 似 产品 或 类 似 领域 的 产品 ， 或 技术 范围 内 产品 的 测试 
经 验 进行 测试 ， 还 可 以 充分 利用 发 现 以 前 产品 发 布 版 本 缺陷 的 经 验 ， 检 查 同样 的 问题 是 否 还 
在 当前 版 本 中 存在 。 

开发 人 员 对 于 类 似 技术 的 知识 会 有 助 于 在 单元 测试 阶段 探索 该 技术 带 来 的 限制 或 约束 。 
探索 式 测试 可 以 用 来 测试 还 没有 测试 过 、 未 知 或 不 稳定 的 软件 。 如 果 不 清 楚 下 一 步 该 怎么 测 ， 
或 不 清楚 什么 时 候 该 深入 测试 ， 则 可 以 利用 探索 式 测试 。 探 索 式 测试 不 仅 针 对 功能 ， 而 且 还 
针对 不 同 的 环境 、 配 置 参 数 、 测 试 数据 等。 

由 于 在 探索 式 测试 中 有 大 量 创造 性 成 分 ， 由 两 个 不 同 的 人 执行 ， 类 似 的 测试 用 例 可 能 导 
致 发 现 不 同类 型 的 缺陷 。 

探索 式 测试 技术 

实施 探索 式 测试 有 很 多 种 方式 。 常 常 使 用 了 某 些 通用 技术 却 没 有 意识 到 已 经 在 使 用 这 些 
技术 。 





举 一 个 例子 。 有 个 人 没有 地 图 在 一 个 新 地 区 开车 去 某 个 地 方 。 他 会 使 用 各 种 党 
见 的 开车 技术 到 达 那 个 地 方 ， 例 如 : < 

。 获 得 那个 地 区 的 地 图 RD 

。 随 机 地 向 某 个 方向 开 以 判断 出 那个 地 方 的 位 置 r 

。 打 电话 向 朋友 问 路 

。 向 路 过 的 加 油 站 问 路 





















次 系 结 构 册 ,用 他 ， 











”和 问题 与 检查 单 。 








图 10-2 探索 式 测试 技术 
猜测 用 来 找 出 可 能 隐藏 更 多 错误 的 程序 部 分 。 以 前 在 类 似 产品 、 软 件 或 技术 上 的 经 验 有 
助 于 猜测 。 这 是 因为 测试 人 员 已 经 面 对 过 测试 类 似 产品 或 软件 的 情况 。 根 据 猜测 得 到 的 测试 
用 例 用 于 测试 新 产品 ， 以 检查 类 似 的 缺陷 。 
探索 式 测 试 的 第 二 种 技术 是 使 用 体系 结构 图 和 用 例 。 体 系 结 构图 描述 不 同 组 件 和 模块 之 
间 的 交互 和 关系 。 用 例 从 使 用 角度 直观 地 给 出 产品 的 使 用 方式 。 用 例 解释 一 组 业务 事件 、 所 
要 求 的 输入 、 这 些 事件 所 涉及 的 人 以 及 预期 输出 。 探 索 式 测试 可 以 使 用 这 些 体系 结构 图 和 用 
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例 测试 产品 。 

探索 式 测试 的 第 三 种 技术 基于 对 过 去 缺陷 的 研究 。 研 究 在 以 前 版 本 中 报告 过 的 缺陷 有 助 
于 了 解 在 产品 开发 环境 中 易 出 现 错误 的 功能 和 模块 。 以 前 版 本 的 缺陷 报告 用 作 进一步 探索 产 
品 区 域 的 路 标 。 

产品 中 的 错误 处 理 是 探索 式 测 试 的 另 一 项 技术 。 错 误 处 理 是 代码 的 一 部 分 ， 在 出 现 失 效 
时 会 输出 合适 的 消息 ,或 采取 合适 的 措施 。 通 过 探索 式 测 试 可 以 检查 各 种 场景 下 的 良好 的 错 
误 处 理 情况 。 例 如 ， 当 出 现 重 大 错误 时 ， 程 序 中 止 时 应 给 出 有 意义 的 错误 消息 。 如 果 用 户 采 
取 的 行动 是 无 效 的 或 未 预期 的 ， 系 统 可 能 出 现 不 当 行 为 。 在 这 种 情况 下 ， 错 误 处 理会 提供 消 
息 或 更 正 行动 。 可 以 模拟 这 类 情况 进行 测试 ， 以 保证 产品 的 代码 考虑 了 这 些 问题 。 

第 五 种 探索 式 测 试 技 术 以 通过 讨论 获得 对 产品 的 理解 为 基础 。 探 索 式 测 试 的 策划 可 以 依 
据 在 项 目 讨论 或 会 议 上 获得 的 对 系统 的 理解 。 在 这 些 会 议 上 可 以 获得 有 关 产 品 不 同 需 求 的 实 
现 方 面 的 大 量 信息 ， 可 以 记录 这 些 信息 并 在 测试 时 使 用 。 还 可 以 从 各 种 产品 实现 介绍 中 获得 
言 息 ， 例 如 体系 结构 介绍 和 设计 介绍 ， 甚 至 包括 对 客户 作 的 介绍 。 

所 使 用 的 最 后 一 种 技术 是 进行 探索 用 的 问卷 和 检查 单 。 像 “什么 、 何 时 、 如 何 、 谁 和 为 
什么 ”这 样 的 问题 可 以 引导 到 产品 的 探索 区 域 。 为 了 理解 产品 中 的 功能 实现 ， 可 以 问 一 些 开 
放 性 问题 ， 例 如 “这 个 模块 是 做 什么 的 "、“ 什 么 时 候 调 用 或 使 用 "、“ 输 入 如 何 处 理 ”"、“ 谁 是 
这 个 模块 的 用 户 ” 等 。 这 类 问题 可 以 提供 下 一 步 测 试 内 容 的 线索 。 

为 了 进行 探索 式 测 试 ， 可 以 制定 详细 的 测试 计划 描述 要 测试 的 区 域 、 目 标 ， 以 及 需要 的 
时 间 和 工作 量 。 关 注 点 还 应 该 放 在 测试 环境 和 系统 配置 参数 上 。 

在 执行 测试 时 ， 要 确定 可 能 隐藏 更 多 问题 并 需要 进一步 探索 的 区 域 。 这 种 探索 技术 可 以 
认为 是 输入 、 环 境 或 系统 配置 参数 的 各 种 组 合 。 

邀请 领域 专家 参与 探索 式 测试 可 能 会 得 到 很 好 的 效果 。 一 组 项 目 团队 成 员 〈 开 发 人 员 、 
测试 工程 师 、 商 务 代表 、 技 术 文 件 编写 者 ) 可 以 组 成 团队 测试 特定 的 模块 或 功能 。 利 用 他 们 
不 同 的 背景 ， 通 过 探索 式 测试 可 能 会 发 现 更 多 的 缺陷 。 只 要 有 关 产 品 功 能 没有 写 入 文档 的 行 
为 或 没有 答案 的 问题 ， 以 团队 的 形式 进行 探索 式 测 试 会 更 有 效 。 


10.5 园 代 式 测试 


第 2 章 介绍 过 ， 和 返 代 (或 螺旋 ) 模型 适用 于 需求 不 断 提出 ， 产 品 开发 针对 每 个 需求 从 代 完 
成 。 与 这 种 过 程 相关 的 测试 叫做 迭代 式 测 试 。 

对 这 种 模型 测试 的 最 大 挑战 之 一 ， 是 要 保证 已 经 测试 过 的 所 有 需求 在 提交 新 需求 时 仍然 
有 效 。 因 此 ， 和 迭代 式 测 试 需要 重复 测试 。 当 提出 新 的 需求 或 完成 对 缺陷 的 修改 时 ， 可 能 会 影 
响 已 经 测试 过 的 其 他 需求 。 由 于 新 需求 可 能 涉及 产品 的 大 量变 更 ， 这 些 测试 用 例 的 执行 绝 大 
多 数 是 手工 完成 的 ， 因 为 很 难 对 这 类 测试 用 例 自动 化 。 迭 代 式 测试 针对 产品 所 有 需求 的 测试 
不 考虑 处 在 螺旋 模型 的 哪个 阶段 。 

与 瀑布 模型 不 同 ， 所 涉及 的 进度 和 工作 量 取决 于 该 轮 迭 代 引 入 的 特性 。 每 轮 欠 代 结 束 时 
客户 都 会 有 一 个 可 以 使 用 的 产品 ， 可 以 在 任何 一 轮 特 定 迭 代 上 停止 产品 的 开发 ， 将 产品 作为 
一 个 独立 实体 推 向 市 场 。 由 于 每 次 产品 都 要 经 历 生 存 周 期 的 所 有 阶段 ， 因 此 由 于 遗漏 和 误解 
产生 的 错误 可 以 定期 得 到 更 正 。 

客户 和 管理 层 可 以 在 每 轮 选 代 结 束 时 注意 到 缺陷 的 影响 和 产品 功能 。 他 们 可 以 根据 对 上 
一 轮 的 观察 ， 决 定 是 否 进入 下 一 轮 迭 代 。 
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第 一 轮 夫 代 要 制定 一 份 测试 计划 ， 后 续 每 轮 迭 代 都 对 计划 进行 更 新 。 测 试 计划 大 致 定义 
每 轮 迁 代 要 完成 的 测试 类 型 和 范围 。 这 是 因为 产品 要 经 过 一 系列 迁 代 ， 较 后 轮 次 迭代 所 用 的 
测试 时 间 会 显著 增长 。 此 外 ， 较 后 轮 次 迭代 中 执行 的 测试 类 型 可 能 在 较 前 轮 次 迭代 中 不 能 执 
行 。 例 如 ， 性 能 和 负载 测试 只 能 在 最 后 几 轮 和 迭代 产品 已 经 完成 时 进行 。 因 此 ， 测 试 计划 准备 
成 为 开始 阶段 的 一 项 重要 活动 。 测 试 计划 准备 要 使 不 同 的 小 组 并 行 工作 ， 每 个 人 都 协调 同步 。 
每 轮 迄 代 后 要 更 新 测试 计划 ， 因 为 测试 的 范围 、 测 试 类 型 和 涉及 的 工作 量 会 发 生变 化 (第 15 
章 将 详细 介绍 测试 策划 )。 

开发 人 员 创 建 单元 测试 用 例 ， 保 证 所 开发 的 程序 经 过 完整 的 测试 。 通 过 黑 盒 角度 生成 单 
元 测试 用 例 ， 以 更 彻底 地 测试 产品 。 每 轮 选 代 结束 后 ， 要 增加 、 修 改 或 删除 单元 测试 用 例 ， 
以 与 当前 阶段 经 过 修正 的 需求 一 致 。 

至 少 每 隔 一 轮 迭 代 (如 果 不 是 每 轮 和 迭代 ) 要 重复 一 次 回归 测试 ， 以 保留 当前 的 功能 。 由 
于 达 代 式 测 试 需要 重复 以 前 轮 次 的 迭代 运行 过 的 测试 用 例 ， 测 试 人 员 会 感到 厌倦 。 为 了 避免 
这 种 单调 ， 提 高 测试 效率 ， 只 要 可 能 ， 就 应 考虑 将 需要 在 每 轮 选 代 执行 的 测试 用 例 自 动 化 。 














举 一 个 例子 。 有 个 人 没有 地 图 试图 统计 某 个 地 区 的 饭店 数量 。 
当 他 走 到 多 条 道路 的 交汇 处 时 ， 一 次 只 能 选 一 条 路 ， 并 统计 沿途 的 
饭店 。 然 后 再 回 到 交汇 点 ， 尝 试 走 另 一 条 路 。 他 可 以 持续 尝试 下 去 ， 
直到 探索 完 所 有 的 路 ， 并 统计 了 沿途 的 饭店 。 














这 样 ， 和 迭代 模型 关注 以 短 的 有 规律 的 时 间 间 隔 ， 少 量 增 加 交付 产品 。 对 于 团队 可 能 出 现 
的 一 个 问题 是 缺陷 修改 的 协调 。 在 一 轮 和 迭代 中 发 现 的 缺陷 根据 客户 定义 的 优先 级 ， 有 可 能 在 
同一 个 版 本 中 修改 ， 也 可 能 向 后 拖 。 假 设 缺 陷 是 在 第 二 轮 发 现 的 ， 直 到 第 五 轮 选 代 才 修改 。 
这 时 这 个 缺陷 可 能 不 再 是 有 效 的 ， 由 于 在 第 三 、 第 四 和 第 五 轮 迭 代 期 间 需 求 已 发 生变 化 ， 这 
个 缺陷 可 能 已 经 不 存在 了 。 另 一 种 可 能 是 ， 在 第 三 轮 迭 代 能 正常 运行 的 功能 到 第 五 轮 迁 代 已 
不 能 正常 运行 。 因 此 ， 随 着 迭代 轮 次 的 增加 ， 测 试 工作 量 也 会 增加 。 

在 上 面 的 例子 中 ， 统 计 饭 店 的 数量 从 所 经 过 的 第 一 条 路 开始 ， 每 轮 结束 时 都 可 以 宣布 统 
计 结 果 并 发 布 。 

迭代 式 测试 也 使 用 了 同样 的 概念 ， 针 对 新 需求 小 步 增 量 地 开发 产品 。 下 一 节 将 要 介绍 的 
敏捷 与 极限 测试 也 利用 了 友 代 模型 的 概念 。 人 们 有 意 将 这 种 模型 与 敏捷 模型 重 倒 起 来 。 


10.6 敏捷 与 极限 测试 


接待 员 : 我 们 的 规定 要 求 ， 只 有 证 件 的 发 放 对 象 才能 来 签署 表格 。 六 3 
来 访 者 : 我 知道 你 们 的 规定 ， 但 我 是 要 你 们 给 我 的 祖父 发 死亡 证 明 。 -2& 轮 


敏捷 与 极限 (XP) 模型 把 过 程 推 到 极限 ， 以 保证 及 时 满足 客户 的 需求 。 在 这 种 模型 中 ， 
客户 与 项 目 团 队 携 手 一 步 步 地 分 阶段 把 项 目 完 成 。 客 户 成 为 项 目 团队 的 一 部 分 ， 以 便 浴 清 可 
能 存在 的 任何 疑问 和 问题 。 

敏捷 与 极限 方法 论 强调 全 团队 的 参与 ， 强 调 相 互 间 的 交互 ， 以 生产 出 能 够 满足 给 定 特性 
集合 的 可 使 用 产品 。 作 为 这 种 交互 的 结果 ， 所 有 想法 都 得 到 交换 。 软 件 以 小 发 布 版 本 的 形式 
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交付 ， 以 增 量 的 形式 引入 特性 。 因 为 变更 是 逐渐 引入 的 ， 因 此 对 变更 的 响应 就 变 得 很 容易 。 

敏捷 测试 对 测试 界 的 影响 是 深远 的 。 对 于 敏捷 测试 ， 团 队 不 再 作为 “一 组 测试 人 员 ” 工 
作 了 ， 测 试 工 程 师 不 再 需要 提交 测试 文档 和 缺陷 报告 ， 等 待 来 自 项 目 组 其 他 成 员 的 输入 。 当 
测试 人 员 和 开发 人 员 结 合 在 一 起 后 ， 他 们 会 从 技术 角度 关注 程序 的 功能 。 当 他 们 与 客户 结合 
”时 ， 他 们 的 作用 如 同 产品 的 领域 专家 。 测 试 人 员 成 为 沟通 客户 他们 了 解 业务 ) 和 开发 人 员 
(他 们 了 解 技术 ) 的 桥梁 ， 以 解释 他 们 不 同 的 视角 。 这 样 ， 测 试 人 员 实 际 上 就 成 了 黏合 剂 ， 把 
客户 的 产品 需求 视角 和 开发 人 员 的 技术 和 实现 视角 结合 起 来 。 

典型 的 XP 工作 日 是 从 所 谓 “ 站 立会 议 ” 开 始 的 。 在 每 个 工作 日 的 开始 ， 团 队 要 碰头 决定 
全 天 的 行动 计划 。 在 站 立会 议 上 ,团队 要 提出 明确 的 要 求 和 问题 ， 并 讨论 解决 。 整 个 团队 都 
了 解 每 个 团队 成 员 所 做 的 工作 。 测 试 人 员 根 据 测试 结果 向 项 目 困 队 报告 项 目 进展 。 要 讨论 的 
其 他 问题 还 可 以 是 由 于 某 个 问题 或 前 一 日 的 各 种 活动 花 去 的 时 间 过 多 ， 没 有 达到 估计 的 进度 
等 。 站 立会 议 每 天 都 能 对 变更 作出 快速 响应 。 

尽管 测试 人 员 和 开发 人 员 的 角色 好 像 不 同 ， 但 是 在 XP 模 型 中 ， 这 两 个 角色 之 间 并 没有 硬 
性 的 界限 。 人 们 超越 边界 充当 XP 模型 中 的 不 同 角色 。 高 度 的 沟通 和 团队 协作 使 这 种 角色 转换 
成 为 可 能 。 


10.6.1 XP 工作 流 


在 遵循 XP 方 法 论 的 过 程 中 有 不 同 的 步 又。 本 节 讨 论 XP 产 品 发 布 的 过 程 。XP 工 作 流 包含 
的 不 同 活动 有 : 

1. 开发 用 户 故 事 

2. 准备 确认 测试 用 例 

3. 编码 

4. 测试 

5. 调整 

6. 交付 

图 10-3 给 出 了 XP 工作 流 。 





图 10-3 XP 工作 流 


迪 10 竟 即兴 测 臣 151 
A A ed 生生 生 直 全 2: 玫 二 


开发 和 理解 用 户 故 事 

XP 项 目 中 的 客户 需求 以 故事 线 的 形式 给 出 。 这 些 故 事 线 是 描述 要 开发 的 特性 和 功能 的 短 ， 
句 。 故 事 线 写 在 叫做 “索引 卡 ” 的 小 卡片 上 。 

在 讨论 故事 线 时 ， 测 试 工程 师 要 准备 关于 故事 的 问题 清单 ， 使 故事 能 被 参 会 的 所 有 人 完 
全 理解 。 在 回答 这 些 问题 时 要 做 记录 ， 在 准备 确认 测试 时 可 能 会 用 到 这 些 记录 

如 果 要 求 要 做 性 能 和 负载 测试 ， 单 狼 的 故事 线 有 助 于 提供 这 些 测试 的 需求 小 结 。 

准备 确认 测试 

下 一 个 步骤 是 根据 已 经 理解 了 的 用 户 故 事 准备 确认 测试 。 测 试 工程 师 与 客户 一 起 开发 确 
认 测试 用 例 。 在 有 些 情况 下 ， 客 户 自己 也 可 以 准备 确认 测试 用 例 。 确 认 测 试 所 需 的 数据 可 以 
由 客户 提供 ， 以 反映 实际 情况 。 确 认 测 试 可 以 包含 测试 场景 ， 端 到 端 地 覆盖 系统 。 测 试 工程 
师 可 以 把 对 需求 的 分 析 提交 给 客户 ， 并 补充 到 确认 测试 用 例 中 。 测 试 人 员 还 可 以 和 客户 结合 
开发 负面 场景 。 

开发 人 员 可 以 评审 这 些 测试 用 例 ， 以 便 让 其 他 人 知道 自己 看 待 这 些 故事 的 实现 视角 。 客 
户 评审 并 认可 确认 测试 用 例 。 根 据 他 们 的 反馈 意见 ， 测 试 人 员 细 微调 整 确认 测试 。 一 日 这 些 
测试 用 例 形成 基线 ， 就 用 作 每 个 人 关于 该 发 布 版 本 需求 的 参考 点 。 这 些 测试 用 例 供 团队 所 有 
成 员 共 享 。 

在 这 种 交换 想法 的 过 程 中 ， 测 试 人 员 从 客户 那里 获得 大 量 信息 。 通 过 与 各 种 团队 成 员 交 
互 获得 的 知识 可 以 在 与 开发 人 员 合作 时 使 用 。 

这 个 阶段 的 另 一 个 活动 是 就 该 发 布 版 本 的 确认 准则 达成 共识 。 这 种 准则 可 以 基于 ， 

1. 所 有 缺陷 已 修改 ， 

2. 执行 了 的 所 有 测试 用 例 中 有 x% 的 通过 率 ， 其 中 x 是 大 家 一 致 同意 的 数字 ， 

3. 所 有 高 优先 级 的 缺陷 已 修改 。 

根据 确认 准则 ， 可 以 决定 开始 该 发 布 版 本 的 下 一 轮 和 迭代 ， 还 是 停止 工作 流 。 

测试 计划 与 估计 

下 一 步 是 估计 完成 测试 任务 所 需 的 工作 量 。 测 试 任务 所 需 的 工作 量 要 包含 到 整个 项 目 工 
作 量 中 。 如 果 估 计 后 发 现 遗 漏 或 误解 了 需求 ， 则 要 向 客户 解释 需要 增加 工作 量 。 客 户 可 以 决 
定 把 遗漏 的 需求 留 到 下 一 轮 迭 代 还 是 留 到 下 一 个 发 布 版 本 。 客 户 也 可 以 同意 将 这 些 需 求 包含 
到 当前 迭代 中 ， 同 时 同意 在 当前 发 布 版 本 中 投入 额外 的 工作 量 。 

编码 

这 个 过 程 的 第 三 步 是 开始 编码 。 但 是 在 开始 编码 之 前 ， 测 试 工程 师 要 与 开发 人 员 一 起 准 
备 单元 测试 用 例 。 测 试 计划 和 测试 用 例 要 在 与 不 同 小 组 讨论 和 交互 的 基础 上 开发 。 因 为 需求 
要 发 生变 化 ， 因 此 完成 一 轮 迭 代 后 要 重新 检查 单元 测试 用 例 。 编 写 代 码 时 不 仅 要 依据 规格 说 
明 ， 还 要 依据 单元 测试 用 例 。 

测试 

开发 人 员 完 成 编码 后 ， 要 执行 测试 用 例 。 测 试 结果 要 形成 文档 ， 并 跟踪 在 这 轮 迭 代 中 发 
现 的 缺陷 。 只 要 缺陷 一 修改 完 ， 测 试 人 员 就 要 与 开发 人 员 一 起 检查 缺陷 修改 情况 。 在 站 立会 
议 上 要 讨论 测试 状态 ， 以 缺陷 指标 的 形式 介绍 发 现 细节 。 缺 陷 指标 更 面向 能 运行 的 功能 和 
需要 关注 的 功能 ， 而 不 是 缺陷 统计 数字 。 

每 轮 迭 代 后 要 根据 修改 后 的 需求 更 新 测试 用 例 ， 可 以 删除 、 修 改 和 新 增 测 试用 例 。 如 果 
必要 ， 测 试 工程 师 还 要 进行 性 能 、 压 力 、 安 装 和 负载 测试 。 可 以 实施 回归 测试 ， 验 证 前 几 轮 
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迭代 正常 的 功能 在 本 轮 迁 代 中 是 否 依然 能 正常 运行 。 

调整 

在 一 个 小 发 布 版 本 内 的 不 同 选 代 期 间 ， 要 修改 需求 和 变更 优先 级 。 为 了 应 对 这 些 变更 ， 
吉 要 进行 调整 。 调 整 是 改正 现 有 任何 工作 产品 以 反映 当前 变更 的 一 种 方法 。 在 这 个 阶段 ， 可 
能 需要 增加 、 修 改 或 删除 测试 用 例 。 最 好 能 吸收 客户 参加 调整 测试 用 例 的 工作 。 

自动 化 

当 开 发 人 员 忙 于 针对 变化 了 的 环境 修改 代码 或 进行 缺陷 修改 时 ， 测 试 人 员 可 以 关注 能 
自动 化 的 测试 用 例 ， 以 便 在 下 一 轮 和 迭代 中 运行 。 这 会 显著 降低 执行 测试 的 工作 量 。 需 要 确定 
适合 该 发 布 版 本 给 定 用 户 故事 的 恰当 的 自动 化 策略 。 

确认 与 交付 

客户 运行 确认 测试 用 例 《与 测试 人 员 一 起 ， 或 独立 进行 ) 并 记录 测试 结果 。 根 据 测试 结 
果 ， 可 以 决定 是 否 为 下 一 轮 迁 代 或 发 布 版 本 开发 新 的 故事 。 

如 前 所 述 ， 确 认 是 以 在 项 目 开始 时 定 下 的 确认 准则 为 基础 的 。 遗 留 的 缺陷 如 果 不 是 重要 
的 ， 可 以 带 入 下 一 轮 选 代 。 取 决 于 修改 缺陷 所 需 的 工作 量 ， 可 能 有 少量 没有 修改 的 非 重要 钠 
陷 能 够 带 入 下 一 轮 选 代 。 客 户 认可 当前 选 代 的 所 有 没有 修改 的 缺陷 。 


10.6.2 通过 例子 进行 小 结 


















举 一 个 汽车 制造 厂 的 例子 。 传 统 的 汽车 有 四 个 轮子 、 一 个 方向 盘 、 制 动 、 一 个 
加 速 汽车 的 踏板 和 一 套 传 动 系统 。 每 种 汽车 都 有 一 些 基 本 特性 。 经 
过 几 年 的 发 展 ， 会 以 增 量 的 方式 引入 新 的 特性 ， 但 是 基本 特性 及 其 
用 途 没 有 多 少 变化 。 但 是 ， 每 个 汽车 制造 商 在 一 年 内 部 会 多 次 发 布 
具有 新 特性 的 新 款 汽车 。 

这 些 频繁 发 布 的 新 款 汽车 使 客户 高 兴 ， 他 们 不 断 更 新 自己 的 汽车 。 就 这 样 ， 汽 
车 工业 不 断 成 长 、 提 高 。 

从 技术 上 看 ， 使 用 操纵 杆 驱动 汽车 可 能 会 更 容易 ， 但 是 客户 已 经 习惯 使 用 方向 
盘 开 车 。 重 点 只 能 放 在 客户 提出 的 需求 上 。 

通过 反馈 机 制 ， 总 是 能 从 客户 那里 收集 到 对 汽车 的 增 量 需求 。 客 户 要 测试 这 些 
需求 ， 在 开发 新 特性 时 要 融入 这 些 需 求 。 








极限 编程 和 测试 使 用 了 以 上 例子 的 理念 ， 频 繁 发 布 并 以 受 控 的 方式 吸收 客户 参加 。 对 需 
求 和 软件 只 作 小 调整 以 降低 成 本 、 时 间 和 工作 量 。 极 限 编程 和 测试 所 采用 的 政策 和 理念 是 : 

1. 跨越 边界 一 开发 人 员 和 测试 人 员 跨 越 边界 担当 不 同 角色 。 

2. 增 量 变更 一 一 产品 和 过 程 都 以 增 量 的 方式 进化 。 

3. 轻装 前 进 一 一 开发 和 测试 的 负担 尽 可 能 地 小 。 

4. 沟通 协调 一 一 特别 关注 沟通 。 

5 在 编码 前 编写 测试 一 分 别 在 编码 和 测试 活动 开始 前 编写 单元 测试 和 确认 测试 。 所 有 
单元 测试 用 例 都 应 该 100% 地 运行 。 根 据 测试 用 例 编写 代码 。 

6. 频繁 进行 小 发 布 。 

7. 始终 吸收 客户 参与 。 
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10.7 缺陷 播种 


错误 播种 也 叫做 调试 ， 用 作 产 品 发 布 版 本 的 可 靠 性 指标 。 

通常 由 项 目 组 的 一 部 分 成 员 注入 缺陷 ， 由 另 一 部 分 人 进行 清除 。 缺 陷 播 种 的 目的 是 在 发 
现 已 知 播 下 缺陷 的 同时 ， 发 现 不 是 播种 撒 下 的 缺陷 。 播 种 的 缺陷 与 实际 缺陷 类 似 ， 因 此 并 不 
能 明显 、 容 易 地 发 现 缺陷 。 

可 以 播种 的 缺陷 可 以 是 严重 或 重大 缺陷 ， 也 可 以 是 轻微 错误 。 这 是 因为 缺陷 播种 可 以 用 
来 预测 缺陷 类 型 的 百分比 ， 这 样 可 以 使 审查 团队 很 难 区 分 播种 的 缺陷 和 实际 缺陷 。 

缺陷 播种 可 以 用 作 检查 审查 或 测试 过 程 效率 的 指南 ， 还 可 以 用 作 了 解 缺 陷 清除 百分比 的 
手段 ， 还 可 以 用 作 系统 中 尚未 发 现 缺陷 数量 的 一 种 估计 方法 。 一 人 

» = » 天 

例如 ， 假 设 把 20 个 从 严重 到 轻微 的 错误 注入 产品 中 ， 测 试 团队 完 。 地 用 意向 产品 中 引入 名 
成 测试 时 ， 发 现 了 12 个 播种 下 的 缺陷 和 25 个 原 缺 陷 。 那 么 在 产品 中 的 。 店 ” 答 得 钦 陶 发 现 和 下 
缺陷 总 数 就 是 ， We 

缺陷 总 数 = (播种 下 的 缺陷 /已 发 现 的 缺陷 ) x 已 发 现 的 原 缺 陷 

根据 以 上 公式 可 以 得 出 估计 产品 中 的 缺陷 总 数 为 (20/12) x 25= 41.67。 

根据 以 上 计算 可 以 得 出 还 没有 找 出 的 原 缺 陷 数 估计 为 17 个 。 

如 果 测 试 小 组 知道 系统 中 有 播种 的 缺陷 ， 尽 可 能 多 地 发 现 这 些 播种 的 缺陷 对 他 们 是 一 种 
挑战 。 这 为 他 们 的 测试 注入 了 新 的 动力 。 对 于 手工 测试 ， 要 在 测试 过 程 开始 前 播种 缺陷 。 如 
果 测试 用 例 已 经 自动 化 ， 那 么 缺陷 播种 可 以 在 任何 时 候 进行 。 

实施 缺陷 播种 时 还 要 注意 以 下 问题 ， 

1 实施 缺陷 播种 过 程 时 要 很 小 心 ， 要 保证 在 发 布 产品 前 清除 所 有 播种 的 缺陷 。 

2. 编写 代码 时 要 便于 很 容易 地 确定 所 引入 的 错误 。 尽 可 能 压缩 播种 缺陷 所 增加 的 代码 量 ， 
以 减少 清除 播种 缺陷 的 工作 量 。 

3. 不 仅 需要 估计 发 现 播种 缺陷 的 工作 量 ， 还 要 估计 清除 播种 缺陷 的 工作 量 。 由 于 一 些 缺 
陷 的 注入 ， 还 需要 修改 实际 的 缺陷 。 

值得 注意 的 是 ， 根 据 已 有 的 缺陷 注入 缺陷 可 能 不 能 得 到 所 期 望 的 结果 ， 因 为 开发 人 员 已 
经 注意 到 了 这 类 缺陷 ， 并 在 以 前 的 发 布 版 本 中 修改 过 。 

注入 需求 缺陷 (例如 不 完整 或 遗漏 需求 ) 可 能 是 难以 做 到 的 。 而 在 很 多 实际 情况 下 ， 需 
求 缺 陷 占 总 缺陷 的 比例 很 大 。 缺 陷 播种 法 对 于 这 类 缺陷 可 能 是 低 效 的 。 


10.8 小 结 
本 章 介绍 了 即兴 测试 的 不 同方 法 。 表 10-2 归 纳 了 这 些 技术 适用 的 场景 。 
表 10-2 即兴 测试 的 方法 和 有 效 性 





适用 的 场景 要 遵循 的 最 有 效 的 即兴 测试 技术 
所 有 计划 测试 用 例 执行 后 随机 测试 产品 猴子 测试 
由 开发 人 员 和 测试 人 员 共 同 早期 发 现 编程 错误 伙伴 测试 
测试 新 产品 /领域 /技术 探索 式 测试 
充分 利用 资深 测试 人 员 的 经 验 ， 并 启发 新 人 的 想法 结对 测试 
应 对 不 断 变 化 的 需求 迭代 式 测 试 
频繁 发 布 产品 ， 吸 收 客户 参与 产品 开发 敏捷 /极限 测试 


对 测试 过 程 的 有 效 性 有 一 个 大 致 了 解 缺陷 播种 
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问题 与 练习 


经 过 一 段 时 间 后 ， 即 兴 测 试 如 何 转 入 计划 测试 用 例 ? 

即兴 测试 可 以 是 白 盒 测试 吗 ? 如果 可 以 ,确定 在 什么 条 件 下 ， 白 盒 测 试 是 有 用 的 。 
在 测试 的 什么 阶段 ， 伙 伴 测试 有 可 能 捕获 最 多 的 缺陷 ? 为什么? 

实施 猴子 测试 需要 什么 技能 ? 

伙伴 测试 和 结对 测试 为 两 类 即兴 测试 。 请 描述 如 何 将 伙伴 测试 和 结对 测试 结合 ， 达 到 更 有 
效 的 效果 。 

对 于 以 下 每 种 情况 ， 本 书 介绍 的 哪 种 即兴 测试 方法 最 合适 ? 

a. 测试 人 员 和 开发 人 员工 作 紧 密 的 小 公司 。 

b. 需要 让 多 个 测试 人 员 了 解 给 定 模块 的 测试 情况 。 

c. 某 个 通过 多 个 发 布 版 本 进化 的 产品 ， 在 发 布 版 本 上 迭代 地 增加 特性 。 

d. 要 开发 和 测试 某 个 创新 型 产品 。 


A 


a 





本 书 第 三 部 分 将 讨论 特殊 的 测试 问题 。 第 11 章 讨论 面向 对 象 系统 的 测试 ， 将 介绍 如 何 对 
第 二 部 分 描述 的 测试 类 型 进行 调整 ， 以 适应 面向 对 象 系统 测试 的 需要 。 第 12 章 讨论 可 使 用 性 
和 易 获 得 性 测试 。 满 足 用 户 的 模糊 用 户 界面 预期 变 得 越 来 越 重要 。 另 外 ， 由 于 法 律 要 求 ， 产 
品 人 必须 适合 残疾 人 士 的 使 用 。 


第 11 章 面向 对 象 系统 的 测试 


11.1 引 定 


前 几 章 讨论 了 测试 的 各 种 阶段 和 类 型 ， 所 讨论 的 工具 、 技 术 和 过 程 包括 了 大 多 数 类 型 的 
软件 。 本 章 将 讨论 针对 一 种 特定 类 型 的 软件 系统 一 一 面向 对 象 (0O) 系统 的 适 配 问 题 。11.2 
市 将 介绍 面向 对 象 的 术语 和 概念 。 本 节 并 不 想 全 面 讨论 面向 对 象 的 概念 ， 而 是 要 承上启下 。 
已 经 熟悉 面向 对 象 术语 的 读者 可 以 略 过 这 一 节 。11.3 节 将 从 测试 角度 逐个 讨论 面向 对 象 的 基 
本 概念 ， 以 及 如 何 进行 有 差别 地 测试 。 


11.2 面向 对 象 软件 入 门 


本 市 讨论 与 测试 有 关 的 面向 对 象 系统 的 一 些 基本 概念 。 本 节 不 打算 全 面 介绍 所 有 的 面向 
对 象 概念 ， 而 是 要 突出 一 些 对 目前 介绍 过 的 测试 方法 进行 修改 和 补充 的 主要 概念 。 

较 早 的 语言 ， 例 如 C 语 言 ， 叫 做 面向 过 程 的 语言 ， 这 可 以 通过 20 世 纪 70 年 代 出 版 的 一 本 书 
的 书 名 被 很 好 地 表现 出 来 :《 算 法 十 数据 结构 = 程序 》[WIRT-70]。 

这 些 程序 设计 语言 都 是 以 算法 为 核心 的 ， 把 程序 看 作 是 由 算法 驱动 的 ， 跟 踪 算 法 的 执行 
从 开始 到 结束 ， 如 图 11-1 所 示 。 数 据 是 一 种 由 算法 操作 的 外 部 实体 。 从 本 质 上 看 ， 这 类 程序 
设计 语言 可 以 刻画 为 : 

1. 数据 被 认为 是 与 操作 或 程序 独立 的 ， 

2. 算法 是 驱动 者 ， 数 据 是 算法 的 补充 。 


算法 外 


部 数据 结构 











图 11-1 传统 以 算法 为 核心 的 程序 设计 语言 


从 测试 的 角度 看 ， 测 试 传统 面向 过 程 的 系统 可 归结 为 测试 算法 ， 把 数据 看 作 是 测试 算法 
流程 的 附属 。 

与 此 相反 ， 面 向 对 象 语言 和 程序 设计 中 有 两 个 基本 的 范例 转换 : 第 一 ， 语 言 是 以 数据 ， 
即 以 对 象 为 核心 的 。 第 二 ， 如 图 11-2 所 示 ， 在 数据 和 操作 数据 的 方法 之 间 没 有 分 离 。 数 据 和 
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操作 数据 的 方法 一 起 构成 一 个 不 可 见 的 单元 。 








图 11-2 以 对 象 为 核心 的 语言 一 算法 和 数据 紧密 合 


类 形成 面向 对 象 系统 的 基本 构件 块 。 类 代表 现实 世界 的 对 象 。 每 个 类 (也 就 是 类 所 代表 
的 现实 世界 对 象 ) 由 属性 ， 也 就 是 变量 、 和 操作 变量 的 方法 组 成 。 例 如 ， 叫 做 矩形 的 现实 世 - 
界 对 象 可 用 两 个 属性 ， 即 长 和 宽 刻 画 。 面 积 和 周 长 是 可 以 对 矩形 对 象 运算 的 两 个 操作 ， 也 就 
是 方法 。 变 量 和 方法 合 在 一 起 定义 一 个 rectangle 类 。 
= 例 11.1 简单 的 类 定义 
Class rectangle 


{ : 
private int length, breadth; 
Public: 
new(float length, float breadth) 
{ 
this -> length =length; 
this -> breadth = breadth; 
} 


float areal() 


{ 
return (length * breadth); 


} 


float perimeter!() 


{ 
return (2*(length+ breadth)); 


} 

}; 
现在 先 不 要 过 于 关注 例 11.1 给 出 的 代码 段 的 句法 和 语义 。 像 例 11.1 中 的 类 定义 只 是 给 出 一 
个 模板 ， 指 出 一 个 对 象 的 属性 和 函数 。 这 些 属性 和 方法 ( 即 模板 ) 适用 于 那个 类 的 所 有 对 象 。 
对 象 的 一 个 具体 实例 由 一 个 新 的 实例 化 创建 。 对 象 是 类 的 动态 实例 化 。 使 用 一 个 给 定 (静态 ) 
类 定义 可 实例 化 多 个 对 象 。 这 种 具体 的 实例 化 通过 使 用 构建 器 函数 完成 。 大 多 数 类 都 有 一 个 
方法 〈 例 如 叫做 new) ， 用 来 创建 类 的 新 实例 。 创 建 了 新 的 实例 后 ， 使 用 适当 的 参数 通过 向 已 
实例 化 的 对 象 传递 消息 ， 可 以 调用 类 的 各 种 方法 。 例 如 : rectl.area() 或 rect2.new(11,b1)。 对 于 
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第 一 个 例子 ， 叫 做 area 的 方法 不 需要 任何 参数 ， 而 在 第 二 个 例子 中 ,创建 一 个 新 矩形 需要 描述 
其 长 和 宽 。 

例 11.2 构建 器 函数 

构建 器 函数 催生 类 的 一 个 实例 。 在 上 面 的 例子 中 ，new 是 一 个 构建 器 函数 。 每 个 类 都 可 以 有 多 个 构建 器 函数 ， 取 
决 于 所 传递 的 参数 ， 也 就 是 函数 的 标志 ， 要 调用 正确 的 构建 器 。 

因此 ， 在 程序 中 可 以 有 很 多 rectangle 类 的 实例 ， 因 为 有 不 同 的 rectangle。 这 意味 着 实例 
rect1 的 length、breadth、area 和 perimeter 与 实例 rect2 对 应 的 变量 和 方法 不 同 。 因 此 ， 引 用 的 方 
式 是 (例如 ) rectl.length、rect2.area 等 。 

有 人 可 能 会 问 , “面向 对 象 ” 有 什么 好 处 呢 ? 为 什么 不 能 使 用 传统 程序 设计 语言 ， 定 义 两 
个 叫做 area 和 perimeter 的 函数 〈 或 子 例 程 )， 并 从 代码 的 任何 其 他 地 方 调用 这 些 函 数 呢 ? 基本 
的 差别 是 ， 对 于 面向 对 象 的 语言 ， 国 数 area 和 perimeter (以 及 变量 length 和 breadth) 如 果 没 有 
类 rectangle 的 具体 实例 rect1 是 不 能 生存 的 。 而 对 于 传统 程序 设计 语言 ， 如 果 把 area 和 perimeter 
定义 为 两 个 函数 (把 变量 length 和 breadth 定 义 为 某 个 全 局 数据 结构 的 部 件 )， 那 么 这 两 个 函数 
的 存在 不 依赖 于 对 象 rectangle 的 实例 。 这 可 能 导致 不 可 预知 的 结果 。 例 如 ， 变 量 length 和 
breadth 可 能 会 以 未 料 到 的 (并 且 是 不 正确 的 ) 方式 操作 ， 函 数 area 和 perimeter 也 有 可 能 被 不 
恰当 的 对 象 调用 。 而 对 于 面向 对 象 的 语言 ， 由 于 变量 和 方法 是 对 象 的 特定 实例 专属 的 ， 因 此 
可 以 获得 对 变量 和 方法 的 更 好 保护 。 

并 不 是 所 有 数据 、 也 不 是 所 有 方法 都 在 类 之 外 公开 可 见 。 有 些 数据 、 有 些 方法 封装 在 类 
的 内 部 。 这 保证 对 方法 的 实现 是 私 用 的 数据 和 方法 不 能 被 外 部 世界 访问 。 这 样 就 提高 了 数据 
项 转换 的 可 预测 性 。 此 外 ， 公 共 方 法 只 提供 能 够 用 于 对 象 内 容 的 操作 ， 这 进一步 降低 了 意外 
或 恶意 修改 对 象 内 容 的 机 会 。 

方法 是 贴 在 对 象 上 的 ， 并 不 独立 存在 。 因 此 ,方法 只 提供 可 以 对 该 对 象 进 行 的 操作 。 换 
名 话说 ， 类 的 用 户 只 知道 面积 或 周 长 计 算 的 外 部 接口 ， 不 知道 有 关 方 法 实现 的 细节 。 也 就 是 
说 ， 方 法 的 实现 对 用 户 是 隐藏 的 。 这 使 得 编写 方法 的 人 可 以 优化 实现 而 不 改变 外 部 行为 。 这 
叫做 封装 性 。 

组 成 对 象 的 方法 和 变量 (或 数据 结构 ) 都 可 以 封装 。 当 变量 封装 时 ， 访 问 被 封装 变量 的 
唯一 方法 是 通过 对 象 内 部 。 这 种 私 用 变量 在 对 象 之 外 是 看 不 到 的 。 这 进一步 保护 变量 不 会 受 
意外 修改 。 

现实 生活 中 的 不 同 对 象 可 以 刻画 每 个 对 象 的 不 同 特征 。 例 如 ， 和 矩形 需要 两 个 参数 (长 和 
宽 ) 来 刻画 ， 正 方形 只 需要 一 个 参数 即 边 长 刻画 。 类 似 地 ， 圆 也 由 一 个 参数 即 半径 刻画 。 但 
是 所 有 这 些 对 象 ， 不 管 有 什么 差别 ， 都 有 一 些 共同 的 特征 一 一 所 有 这 些 对 象 都 是 平面 图 形 ， 
都 有 两 个 叫做 周 长 ( 即 对 象 边界 长 度 的 总 和 度量 ) 和 面积 ( 即 图 形 占据 的 平面 面积 的 度量 ) 
的 参数 。 不 同形 状 的 对 象 有 不 同 的 面积 或 周 长 的 计算 方法 。 因 此 ， 叫 做 plane objects 的 通用 对 
象 (类 ) 有 两 个 叫做 perimeter 和 area 的 适用 于 所 有 平面 图 形 的 属性 ， 即 使 面积 和 周 长 的 计算 方 
法 随 平面 对 象 的 不 同 而 不 同 。 特 定 类 型 的 平面 图 形 (例如 rectangle) 从 其 父 对 象 平面 对 象 ) 
继承 了 这 些 函 数 ， 并 根据 需要 进行 修改 ， 以 适应 其 特殊 需要 。 类 似 地 ， 另 一 个 平面 图 形 
圆 也 继承 了 两 个 函数 ， 并 进行 了 重 定义 以 适应 其 需要 (例如 ， 周 长 =2rr， 面 积 =rr)。 

例 11.3 ”封装 

封装 提供 对 外 部 世界 合适 层次 的 变量 和 方法 的 抽象 。 在 下 面 的 例子 中 ，length 和 breadth (用 椭圆 圈 出 ) 是 私 
用 变量 ， 即 它们 不 能 通过 发 出 调用 的 程序 直接 访问 。 方 法 new、area 和 perimeter (用 矩形 圈 出 ) 是 公用 方法 ， 可 














和 17 章 面向 对 杀 未 统 的 测 研 。 159 





以 从 类 的 外 部 调用 。 
Chass rectangle 


{ 


Erivate int length, breadth; 


new(float length, float breadth) 


4 





this->length=length; 
this->breadth=breadth 
} 
float areal() 
{ 
return (length*breadth); 
a 
float peimeter() 


{ 
return (2*(lengtht+breadth)); 


= 


} 


面向 对 象 系统 的 一 个 主要 优点 是 能 够 通过 已 有 的 类 定义 新 的 类 ， 新 类 的 有 些 属性 与 已 有 
的 类 类 似 ,. 有 些 属 性 不 同 。 这 种 能 力 叫 做 继承 性 。 原 来 的 类 叫做 父 类 (或 超 类 ) ， 新 类 叫做 子 
类 (或 导出 类 )。 

例 11.4 说明 继承 的 例子 


继承 能 够 不 丢失 公共 特性 地 从 一 个 类 导出 另 一 个 类 。 以 下 例子 不 是 把 rectangle、circle 等 看 作 是 不 相关 的 图 形 ， 
而 是 把 它们 看 作 从 一 个 叫做 plane objects 的 类 中 导出 的 。 不 管 是 什么 对 象 ， 都 有 叫做 area 和 perimeter 的 属性 。 
Class plane objects 
i 
public float areal(); 
public float perimeter(); 
Class rectangle 
Private float length, breadth; 
public: 
new(float length, float breadth) 
{ 
this->length=length; 
this->breadth=breadth; 
小 
float areal() 
{ 
return (length*breadth); 
} 


float perimeter!() 


{ 
return(2*(lengtht+breadth)); 


}; 
Class circle 


1 
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private float radius; 
public: 
new (float radius); 


{ 


this->radius=radius; 


} 


float areal() 


{ 


return (22/7*radius*radius); 


} 


float perimeter!() 


{ 


return (2*22/7*radius); 
} 
}; 

} 

继承 使 对 象 (或 至 少 对 象 的 部 件 ) 可 以 重用 。 导 出 类 继承 了 父 类 的 性 质 一 一 事实 上 ， 继 承 
了 所 有 父 类 的 性 质 ， 因 为 类 可 以 有 很 多 层次 。 因 此 ， 由 于 这 些 可 以 被 继承 和 原封 不 动 使 用 的 
父 类 性 质 ， 开 发 和 测试 成 本 可 以 降低 。 

在 上 面 的 例子 中 ， 对 象 rectangle 继 承 了 通用 类 plane objects 的 性 质 ， 可 以 看 出 其 两 个 导出 
类 (rectangle 和 circle) 都 有 叫做 area 和 perimeter 的 方法 。 有 具体 的 输入 和 处 理 逻 辑 对 circle 的 方 
法 和 rectangle 的 方法 是 不 同 的 ， 即 使 方法 的 名 字 是 相同 的 。 这 意味 着 即使 方法 名 称 对 于 circle 
和 rectangle 是 相同 的 ， 其 实际 含义 也 要 取决 于 类 被 调用 的 具体 背景 。 两 个 方法 的 性 质 在 不 同 
的 类 中 有 相同 的 名 称 ， 但 却 引用 不 同 的 函数 ， 这 叫做 多 态 性 。 

从 以 上 讨论 推论 ， 方法 要 与 对 象 关联 。 描 述 与 方法 关联 的 对 象 的 一 种 方法 是 直接 描述 。 
例如 rectl.area()。 在 这 种 情况 下 ， 很 容易 看 出 对 哪个 类 调用 哪个 具体 方法 。 一 种 更 精细 的 变种 
叫做 动态 绑 定 。 

假设 有 一 个 叫做 ptr 的 变量 ， 在 运行 时 被 分 配 了 一 个 对 象 的 地 址 。 在 这 种 情况 下 ， 仅 看 代 
码 还 不 能 确定 要 调用 哪个 方法 ， 只 有 在 运行 时 才能 知道 ptr 的 值 ， 因 此 测试 不 能 对 这 种 代码 进 
行 静态 分 析 。 下 一 节 介 绍 多 态 性 和 动态 绑 定 对 测试 带 来 的 挑战 。 

如 前 所 述 ， 面 向 过 程 的 程序 设计 是 以 算法 为 核心 的 。“ 主 ”程序 的 控制 流 自 顶 向 下 ， 并 对 
数据 结构 进行 操作 。 但 是 ， 面 向 对 象 的 程序 集成 了 数据 和 方法 ， 控 制 流 被 在 不 同 对 象 之 间 传 
递 消息 所 取代 。 消 息 不 是 别 的 ， 只 不 过 是 通过 传递 合适 的 参数 调用 类 ( 即 对 象 ) 实 例 的 方法 。 

这 种 范例 从 以 算法 为 核心 、 基 于 控制 、 面 向 过 程 的 程序 设计 ， 转 移 到 以 对 象 为 核心 、 基 
于 消息 、 面 向 对 象 的 程序 设计 ， 改 变 了 编写 程序 或 测试 的 方式 。 

第 二 点 不 同 是 ， 在 基于 消息 的 方法 中 ， 只 有 创建 了 实例 之 后 ， 这 些 消 息 才 能 传递 给 实例 。 
传递 给 没有 实例 化 的 对 象 的 消息 会 产生 一 个 运行 时 错误 。 本 书 已 经 介绍 过 的 静态 测试 方法 很 
难 捕获 这 类 错误 。 

控制 流 和 面向 对 象 系统 测试 的 另外 一 点 不 同 源 自 例外 处 理 。 每 个 类 都 可 能 有 一 组 在 出 现 
错误 条 件 下 启动 的 例外 ， 以 应 对 错误 的 消息 和 条 件 。 例 如 ， 如 果 传 递 给 对 象 的 参数 是 无 效 的 ， 
该 对 象 就 会 启动 一 个 例外 。 这 种 对 例外 处 理 代码 的 控制 转移 会 造成 程序 流 序 列 的 中 断 ， 需 要 
进行 测试 。 如 果 类 移 套 在 其 他 类 里 ， 就 有 可 能 有 嵌 套 例外 。 重 要 的 是 对 象 要 通过 沿 嵌 套 层次 
执行 对 应 正确 例外 的 代码 。 如 果 程 序 员 不 知道 多 层 嵌 套 之 间 的 交互 ， 那 么 这 些 例外 可 能 产生 
不 期 望 的 结果 。 测 试 各 种 嵌 套 例外 是 非常 重要 的 。 
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11.3 面向 对 象 测试 的 差别 
上 一 节 介 绍 了 面向 对 象 程序 设计 的 各 种 突出 特点 ， 下 面 讨论 这 些 特点 如 何 对 测试 产生 


影响 。 

从 测试 的 角度 看 ， 这 意味 着 测试 面向 对 象 系统 应 该 将 数据 和 算法 紧密 联系 起 来 。 推 动 面 
向 过 程 语言 测试 类 型 的 数据 和 算法 的 分 离 ， 必 须 被 打破 。 

面向 对 象 系统 测试 大 致 有 以 下 主题 : 

1. 类 的 单元 测试 

2. 把 类 放 在 一 起 运行 类 的 集成 测试 ) 

3. 系统 测试 

4. 回归 测试 

5. 面向 对 象 系统 的 测试 工具 


11.3.1 一 组 类 的 单元 测试 


由 于 类 是 在 “发 布 ”给 其 他 程序 使 用 之 前 构建 的 ， 因 此 要 对 类 进行 测试 ， 检 查 类 是 否 已 
经 可 以 使 用 。 类 是 整个 面向 对 象 系统 的 构件 块 。 就 像 面向 过 程 系统 的 构件 块 要 在 组 装 之 前 进 
行 单独 的 单元 测试 一 样 ， 类 也 要 进行 单元 测试 。 本 节 要 介绍 对 这 些 面向 对 象 构件 块 进行 甚至 
更 彻底 的 单元 测试 的 特殊 原因 ， 然 后 介绍 适用 于 面向 对 象 系统 的 传统 测试 方法 ， 最 后 介绍 针 
对 面向 对 象 系统 的 独特 测试 技术 和 方法 。 

类 必须 首先 进行 单独 测试 的 原因 

对 于 面向 对 象 系统 ， 对 构件 块 (类 ) 进行 彻底 的 单元 测试 甚至 更 重要 (与 面向 过 程 系统 
相 比 ) 的 原因 是 : 

1. 类 通常 要 大 量 重用 。 因 此 ， 类 中 的 残留 缺陷 潜在 地 会 影响 重用 的 所 有 实例 。 

2. 在 定义 类 ( 即 属性 和 方法 ) 时 会 引入 很 多 缺陷 。 延 迟 发 现 这 些 缺 陷 会 使 其 进入 这 些 类 
的 客户 中 。 因 此 ， 对 缺陷 的 修改 会 在 多 处 反映 出 来 ， 产 生 不 一 致 性 。 

3. 类 可 能 有 不 同 的 特性 ， 类 的 不 同 客户 可 能 使 用 类 的 不 同 片段 。 没 有 一 个 客户 能 够 独自 
使 用 类 的 所 有 部 分 。 因 此 ， 除 非 先 把 类 作为 一 个 单元 测试 ， 否 则 会 有 类 的 一 些 片段 永远 也 得 
不 到 测试 。 

4. 类 是 数据 和 算法 的 一 种 组 合 。 如 果 方法 和 数据 不 能 在 单元 测试 级 同步 工作 ， 就 有 可 能 
产生 以 后 很 难 查找 的 缺陷 。 

5. 与 过 程 语言 构件 块 不 同 ， 面 向 对 象 系统 具有 像 继 承 这 样 的 特性 ， 这 些 特性 把 更 多 的 
“背景 。 放 入 构件 块 中 。 因 此 ， 除 非 单独 彻底 地 测试 构件 块 ， 否 则 缺陷 会 在 生存 周期 的 后 期 从 
这 些 背景 中 露出 来 ， 并 放大 很 多 倍 。 

适用 于 类 测试 的 传统 方法 

前 面 讨论 过 的 有 些 单元 测试 方法 可 以 直接 用 于 类 测试 。 例 如 ， 

1 每 个 类 都 包含 变量 。 在 讨论 黑 盒 测试 时 介绍 的 边界 值 分 析 和 等 价 类 划分 都 可 以 使 用 ， 
以 保证 使 用 最 有 效 的 测试 数据 发 现 尽 可 能 多 的 缺陷 。 

2. 前面 已 经 介绍 过 ， 并 不 是 所 有 方法 都 要 由 所 有 客户 执行 。 可 以 使 用 在 讨论 白 盒 测试 时 
介绍 过 的 功能 覆盖 方法 ， 以 保证 每 个 方法 (功能 ) 都 能 执行 。 

3. 每 个 类 都 拥有 具有 过 程 逻 辑 的 方法 。 在 讨论 白 盒 测试 时 介绍 过 的 条 件 覆 盖 技 术 、 分 支 
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覆盖 技术 、 代 码 复杂 性 分 析 等 都 可 以 使 用 ， 以 保证 覆盖 尽 可 能 多 的 分 支 和 条 件 ， 增 加 代码 的 
可 维护 性 。 

4. 由 于 类 要 由 不 同 的 客户 实例 化 很 多 次 ， 第 6 章 讨 论 的 各 种 压力 测试 技术 都 可 以 实施 ， 以 
尽早 发 现 与 压力 有 关 的 问题 ， 例 如 内 存 泄漏 ， 进 行 系统 测试 和 验收 测试 。 

第 4 章 讨论 过 基于 状态 的 测试 ， 这 种 方法 尤其 适合 测试 类 。 由 于 类 是 数据 和 对 数据 进行 操 
作 的 方法 的 组 合 ， 有 些 情况 下 可 以 把 类 可 视 化 为 通过 不 同 状态 的 对 象 。 传 递 到 类 的 消息 是 触 
发 状态 转移 的 输入 。 在 设计 阶段 获得 这 种 视图 是 很 有 用 的 ， 因 为 测试 可 以 更 自然 。 可 以 用 于 
测试 的 一 些 准 则 包括 : 

。 每 个 状态 是 否 至 少 到 达 一 次 ? 

。 是 否 生成 和 测试 了 每 个 消息 ( 即 引 起 状态 转移 的 输入 ) ? 

。 每 个 状态 转移 是 否 出 现 过 至 少 一 次 ? 

。 是 否 测试 过 非法 的 状态 转移 ? 

类 测试 的 特殊 考虑 

以 上 方法 是 来 自 面向 过 程 系统 的 通用 方法 。 针 对 被 类 实例 化 的 对 象 性 质 (这 些 对 象 必 须 
通过 消息 传递 测试 )， 如 何在 单元 级 测试 这 些 实例 ? 

为 了 测试 经 过 实例 化 的 对 象 ， 必 须 将 消息 传递 给 各 种 方法 。 以 什么 顺序 把 消息 传递 给 天 
象 ? 一 种 达到 这 个 目的 的 有 效 方法 是 阿尔 法 一 欧米 嘎 方法 。 这 种 方法 遵循 以 下 原则 ， 

1. “从 生 到 死 ” 全 面 测 试 对 象 的 生存 周期 〈 即 从 实例 化 到 销毁 ) 。 实 例 通 过 构建 器 方法 进 
行 实例 化 ， 然 后 变量 被 赋值 。 在 执行 过 程 中 ， 可 能 会 修改 这 些 值 并 且 执 行 各 种 方法 。 最 后 ， 
该 实例 被 销毁 器 方法 销毁 。 

2. 首先 测试 简单 方法 ， 然 后 测试 更 复杂 的 方法 。 由 于 构建 面向 对 象 系统 的 原理 是 构建 一 
些 可 重用 的 对 象 ， 因 此 更 复杂 的 方法 很 可 能 是 在 简单 方法 的 基础 上 构建 的 。 因 此 ， 在 测试 复 
杂 方 法 之 前 首先 测试 简单 方法 是 明智 的 。 

3. 先 测试 私 用 方法 ， 后 测试 公用 方法 。 私 用 方法 是 不 能 被 对 象 /类 的 外 部 看 到 的 方法 。 因 
此 ， 私 用 方法 是 面向 实现 的 方法 ， 负 责 处 理 方法 的 逻辑 ， 是 整个 系统 的 构件 块 。 另 外 ， 私 用 
方法 是 与 调用 方 ( 即 客户 ) 隔离 的 ， 这 会 降低 测试 的 依赖 性 ， 使 构件 块 在 客户 使 用 前 更 具 健 
壮 性 。 

4. 给 每 个 方法 发 送 消息 至 少 一 次 。 这 可 以 保证 每 个 方法 至 少 被 测试 一 次 。 

阿尔 法 一 欧米 嘎 方 法 通过 以 下 步骤 可 以 达到 以 上 目标 ， 

1. 首先 测试 构建 器 方法 。 每 个 类 都 可 能 被 多 个 构建 器 消息 根据 标志 构建 。 这 些 是 创建 类 
的 实例 的 不 同 途径 。 如 果 有 多 个 构建 器 ， 则 需要 单独 测试 所 有 的 构建 器 方法 。 

2. 测试 get 方 法 或 accessor 方 法 。accessor 方 法 检索 对 象 中 的 变量 值 供 发 出 调用 的 程序 使 用 。 
这 个 方法 可 以 保证 类 定义 中 的 变量 可 以 被 合适 的 方法 访问 。 

3. 测试 修改 对 象 变量 的 方法 。 有 些 方法 测试 变量 的 内 容 ， 有 些 方法 设置 /更 新 变量 的 内 容 ， 
有 些 方法 循环 处 理 各 种 变量 。 可 以 推测 ， 这 些 方法 越 来 越 复杂 ， 请 记 住 前 面 说 到 过 的 原则 。 

4. 最 后 ， 对 象 必 然 要 被 销毁 。 当 销毁 对 象 后 ， 不 能 对 该 对 象 进 行 意外 访问 。 另 外 ， 被 这 
个 对 象 实例 使 用 的 资源 都 应 该 释放 。 这 些 测试 结束 了 被 实例 化 对 象 的 生命 。 

还 有 一 些 挑战 是 类 测试 狼 有 ， 而 面向 过 程 系 统 的 单元 测试 所 没有 的 。 下 面 讨论 这 些 挑战 。 

前 面 已 经 介绍 过 ， 封 装 是 对 类 的 客户 隐藏 类 细节 的 手段 。 从 实现 和 使 用 角度 看 这 是 很 好 
的 ， 但 是 从 测试 角度 看 却 会 增加 难度 ， 因 为 被 封装 部 分 的 内 部 行为 对 测试 人 员 的 可 视 性 降低 。 
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对 于 面向 过 程 的 语言 ， 人 们 可 以 进入 实现 的 内 部 ， 能 够 更 清楚 地 看 到 程序 的 行为 。 没 有 了 这 
种 便利 ， 带 有 封装 的 类 的 白 盒 测 试 会 变 得 很 困难 。 

前 面 已 经 介绍 过 ， 类 实际 上 可 以 是 类 层次 的 一 部 分 。 类 可 以 : 

1. 从 父 类 继承 一 部 分 变量 和 方法 ; 

2. 对 父 类 的 一 部 分 变量 和 方法 进行 重新 定义 ， 

3. 定义 自己 专用 、 父 类 不 能 使 用 的 变量 和 方法 。 

由 于 类 由 所 有 以 上 三 类 的 变量 和 方法 组 成 ， 因 此 严格 地 说 ， 每 个 新 类 都 必须 测试 所 有 的 
变量 和 方法 。 但 是 在 现实 中 ， 更 增 量 化 的 方法 可 能 更 有 效 、 更 高 效 。 在 第 一 次 引入 类 的 时 候 ， 
必须 使 用 已 经 讨论 过 的 传统 单元 测试 手段 全 面 测试 所 有 的 变量 和 方法 。 以 后 ， 每 次 类 被 从 父 
类 导出 时 都 需要 测试 以 下 内 容 ， 因 为 它们 是 第 一 次 出 现 

1. 对 基 类 变量 、 方 法 和 属性 的 修改 必须 再 次 测试 ， 因 为 已 经 发 生变 化 。 

2. 引入 到 继承 类 的 新 变量 和 方法 需要 再 次 测试 。 

对 于 第 一 种 情况 ， 也 就 是 经 过 修改 的 属性 ， 用 于 父 类 的 现 有 测试 用 例 可 能 可 以 重用 ， 也 
可 能 不 能 重用 。 在 前 面 讨论 过 的 平面 图 形 例子 中 ， 即 使 圆 的 面积 和 周 长 已 经 测试 过 ， 但 是 对 
于 针对 和 矩形 的 同一 个 方法 却 不 能 说 明 任何 问题 ， 尽 管 两 者 都 是 从 同一 个 父 类 导出 的 。 

很 显然 ， 在 子 类 中 对 于 对 类 属性 的 所 有 修改 和 补充 都 必须 进行 独立 测试 ， 但 问题 是 ， 如 
何 处 理 从 父 类 继承 且 没 有 被 子 类 修改 的 属性 ?严格 地 说 ， 不 需要 再 次 测试 ， 因 为 理论 上 这 些 
内 容 没有 改变 。 但 是 这 些 没有 改变 的 变量 和 方法 在 与 一 些 变更 混合 后 ， 可 能 有 一 些 不 期 望 的 
副作用 ， 因 此 (没有 修改 过 的 ) 父 类 元 素 要 和 导出 类 一 起 进行 有 选择 性 的 重新 测试 。 那 么 如 
何 确定 应 该 重新 测试 的 未 改变 的 元 素 呢 ? 以 下 给 出 的 是 一 些 可 能 的 选择 : 

1. 只 要 未 改变 的 变量 在 新 的 或 已 改变 过 的 方法 中 引用 ， 则 针对 该 未 改变 变量 的 测试 用 例 
就 是 重新 测试 的 候选 测试 用 例 。 这 可 以 发 现任 何 未 改变 变量 的 非 有 意 使 用 。 

2. 只 要 未 修改 方法 在 新 的 或 修改 过 的 方法 中 调用 ， 则 可 以 考虑 对 这 个 未 修改 方法 进行 重 
新 测试 。 如 果 新 的 或 修改 过 的 方法 没有 得 到 正确 的 结果 ， 则 可 能 说 明 未 修改 方法 也 许 要 在 包 
含 该 新 方法 的 子 类 中 重新 定义 。 也 可 能 要 生成 原来 的 方法 ， 以 便 适应 新 子 类 的 需求 。 

在 创建 时 彻底 测试 所 有 变更 或 新 增 内容 ， 有 选择 性 地 重新 测试 其 他 未 改变 的 属性 ， 这 种 
方法 叫做 增 量 式 类 测试 。 这 种 方法 既 考虑 了 穷尽 测试 ， 也 考虑 了 与 风险 关联 的 不 测试 (表面) 
没有 改变 的 内 容 。 

虽然 继承 使 通过 已 有 对 象 定义 新 对 象 更 容易 一 些 ， 但 是 继承 也 是 一 种 潜在 的 缺陷 源 。 请 
考虑 一 个 具有 多 层 驱 套 的 类 。 最 内 层 的 类 可 能 只 有 很 少 的 代码 ， 但 是 可 能 继承 类 层次 结构 内 
上 层 类 的 大 量变 量 和 方法 。 这 意味 着 有 大 量 背景 内 容 构成 了 这 个 子 类 ， 而 这 种 背景 内 容 不 能 
通过 孤立 地 检查 这 个 类 来 确定 。 这 与 在 面向 过 程 语言 中 使 用 全 局 变量 的 情况 类 似 。 由 于 被 嵌 
套 的 类 可 以 随意 访问 其 父 类 的 方法 和 变量 ， 因 此 测试 嵌 套 类 就 需要 访问 其 父 类 的 信息 。 

还 有 其 他 两 种 形式 的 类 和 继承 对 测试 带 来 特殊 挑战 一 -多 重 继承 和 抽象 类 。 

到 目前 为 止 讨论 过 的 例子 都 假设 子 类 可 以 只 从 一 个 紧邻 的 父 类 导出 。 有 些 语言 支持 所 谓 
多 重 继承 ， 即 子 类 通过 两 个 父 类 导出 ， 很 像 人 类 子女 从 双亲 那里 得 到 遗传 。 这 种 多 重 继承 性 
质 为 测试 带 来 很 有 意思 的 东西 。 例 如 ， 考 虑 一 个 通过 两 个 父 类 P1 和 P2 导 出 的 子 类 A。 很 可 能 
P1 和 P2 都 有 名 字 相 同 但 是 完成 不 同 功能 的 变量 和 方法 。 假 设 P1 和 P2 都 有 叫做 X 的 方法 〈 完 成 
不 同 的 功能 ) 。 当 子 类 从 这 两 个 父 类 继承 时 ， 子 类 可 能 

1. 使 用 P1 或 P2 的 X， 或 
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2. 自己 修改 X， 使 修改 后 的 X 作 为 X 的 默认 含义 ， 取 代 来 自 P1 和 P2 的 X。 

第 二 种 情况 类 似 在 单 继承 中 经 过 变更 的 类 ， 因 此 可 能 需要 测试 。 对 于 第 一 种 情况 ，X 没 有 
改变 ， 但 是 可 以 考虑 进行 重新 测试 。 由 于 多 重 继承 ， 所 以 产生 副作用 的 可 能 性 成 倍增 加 ， 缺 
陷 的 范围 更 大 。 因 此 从 测试 角度 看 ， 多 重 测试 需要 更 彻底 的 测试 。 

有 时 必须 存在 特定 的 带 有 公开 接口 的 方法 ， 以 重新 定义 类 ， 但 是 这 个 方法 的 具体 实现 则 
完全 留 给 实现 者 。 例 如 ， 考 虑 对 整数 数组 进行 排序 ， 并 在 另 一 个 数组 中 返回 排 好 序 的 列表 的 
方法 。 对 排序 例 程 的 接口 明确 定义 : 一 个 输入 整数 数组 和 一 个 输出 整数 数组 。 这 种 方法 叫做 
庶 方 法 。 具 有 虚 方法 的 类 叫做 抽象 类 。 对 从 父 类 继承 的 每 个 新 子 类 都 必须 重新 实现 虚 方法 。 

抽象 类 和 虚拟 函数 给 测试 带 来 什么 意义 呢 ? 抽象 类 不 能 直接 实例 化 ， 因 为 抽象 类 不 完整 ， 
只 有 虚拟 函数 的 位 置 。 必 须 通 过 抽象 类 定义 没有 虚拟 函数 的 具体 类 ， 要 测试 这 些 具 体 类 的 实 
例 。 由 于 对 于 不 同 的 具体 类 同一 个 虚拟 函数 可 以 不 同 地 实现 ， 因 此 针对 抽象 类 不 同 实现 的 测 
试用 例 一 般 来 说 不 能 重用 。 但 是 ， 虚 拟 函 数 和 抽象 类 带 给 测试 的 好 处 是 ， 提 供 了 函数 应 该 满 
足 的 接口 定义 。 这 种 接口 对 于 不 同 的 实现 应 该 是 不 变 的 。 因 此 ， 这 种 接口 提供 了 测试 具体 类 
的 一 个 很 好 的 切入 点 。 


11.3.2 将 类 组 合 在 一 起 一 一 集成 测试 


以 上 所 有 讨论 都 是 在 类 层次 上 进行 测试 。 面 向 对 象 系统 不 是 分 立 对 象 或 类 的 集合 ， 这 些 
对 象 或 类 应 该 共存 、 集 成 并 相互 通信 。 由 于 面向 对 象 系统 在 设计 上 有 和 较 小 的 针对 重用 (经 过 
必要 的 重新 定义 ) 的 组 件 或 类 构成 ， 因 此 一 旦 基本 类 本 身 已 经 彻底 测试 ， 类 是 否 能 够 在 一 起 
运行 就 成 为 测试 的 下 一 步 。 更 多 的 情况 是 ， 不 是 一 个 单独 的 类 作为 一 个 单元 进行 测试 ， 而 是 
一 组 永远 都 在 一 起 运行 的 有 关 的 类 。 这 与 面向 过 程 语言 没有 多 大 差别 ， 对 于 面向 过 程 语言 ， 
单元 可 能 并 不 总 是 一 个 源 文件 ， 而 是 完成 相关 功能 的 一 组 相关 文件 作为 一 个 单元 测试 。 对 于 
面向 对 象 系统 ， 由 于 测试 重点 是 重用 和 类 ， 因 此 测试 这 种 集成 单元 是 至 关 重 要 的 。 

对 于 面向 过 程 的 系统 ， 测 试 是 通过 给 出 不 同 的 数据 检验 控制 流 路 径 完成 的 。 这 些 控制 流 
路 径 自 始 至 终 是 由 程序 调用 的 函数 决定 的 。 如 前 所 述 ， 在 面向 对 象 系 统 中 ， 类 相互 之 间 通 信 
的 各 种 方式 都 通过 消息 。 消 息 上 共有 以 下 格式 : 

< 实例 名 > .< 方法 名 > .< 变量 > 

对 于 有 名 称 的 实例 调用 具有 指定 名 称 的 方法 ， 或 通过 合适 的 变量 调用 (合适 类 的 ) 对 象 。 
因此 ， 不 能 通过 列 出 执行 要 经 过 的 函数 名 来 描述 要 测试 的 流程 。 事 实 上 ， 在 测试 面向 对 和 象 系 
统 时 ， 方 法 名 没有 唯一 地 确定 控制 流 。 前 面 已 经 介绍 过 ， 这 种 函数 或 操作 符 的 含义 随 背 景 的 
不 同 而 变化 ， 同 一 个 操作 在 不 同 的 条 件 下 行为 各 异 的 性 质 叫 做 多 态 性 。 从 测试 的 观点 看 ， 多 
态 性 是 个 很 大 的 挑战 ， 因 为 多 态 性 推翻 了 代码 履 盖 和 代码 静态 审查 的 传统 定义 。 例 如 ， 如 果 
有 两 个 叫做 square 和 circle 的 类 都 有 一 个 叫做 area 的 方法 。 即 使 函数 在 两 个 类 中 都 叫做 area， 即 
使 两 个 函数 都 只 接受 一 个 参数 ， 但 是 取决 于 调用 方法 的 背景 ， 参 数 的 含义 是 不 同 的 (对 于 贺 
是 半径 ， 对 于 正方 形 是 边 长 )。 方 法 的 行为 对 于 这 两 个 类 也 是 完全 不 同 的 。 因 此 ， 如 果 针 对 正 
方形 测试 了 方法 area， 并 不 意味 着 area 方 法 对 于 圆 也 是 正确 的 。 需 要 独立 测试 。 

多 态 性 的 一 种 叫做 动态 绑 定 的 变种 也 为 测试 带 来 很 大 挑战 。 在 程序 代码 中 ， 如 果 显 式 地 
引用 square.area 和 circle.area， 那 么 测试 人 员 显 然 知道 这 是 两 个 不 同 的 函数 ， 因 此 需要 根据 所 
使 用 的 背景 条 件 进行 测试 。 对 于 动态 绑 定 ， 要 接收 销 息 的 类 在 运行 时 描述 。 这 对 于 人 允许 使 用 
指针 (例如 C++) 的 语言 来 说 ， 是 对 测试 的 一 个 很 大 挑战 。 假 设 指向 一 个 特定 对 象 的 指针 存 
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在 叫做 ptr 的 指针 变量 里 ， 那 么 ptr->area(i) 要 在 运行 时 解析 由 ptr 指 向 的 合适 对 象 类 型 的 area 方 
法 。 如 果 ptr 指 向 一 个 square 对 象 ， 那 么 调用 的 就 是 square.area(i) (i 就 是 这 个 正方 形 的 边 )。 如 
采 ptr 指 向 一 个 circle 对 象 ， 那 么 调用 的 就 是 circle.area(i) (i 就 是 这 个 圆 的 半径 )。 这 意味 着 像 代 
码 履 盖 这 样 的 白 盒 测试 策略 在 这 种 情况 下 就 没有 什么 用 了 。 在 上 面 的 例子 中 ， 通 过 用 指向 一 
个 square 对 象 的 ptr 就 可 以 达到 对 ptr->area(i) 的 代码 覆盖 。 但 是 ， 如 果 ptr 没 有 测试 过 指向 circle 
对 象 的 情况 ， 那 么 计算 圆 面积 的 那 部 分 代码 就 完全 没有 测试 ， 尽 管 调用 程序 中 的 代码 已 经 被 
测试 用 例 履 盖 。 

除了 封装 和 多 态 性 ， 另 一 个 问题 是 以 什么 顺序 将 类 放 在 一 起 测试 ?这 个 问题 与 在 面向 过 
程 系统 集成 测试 中 遇 到 的 问题 类 似 。 像 自 顶 向 下 、 自 底 向 上 、 大 爆炸 等 各 种 集成 方法 对 于 面 
向 对 象 系统 都 适用 。 在 面向 对 象 系统 集成 测试 需要 额外 注意 的 几 点 是 : 

1. 面向 对 象 系统 本 质 上 是 要 通过 小 的 、 可 重用 的 组 件 构 建 。 因 此 ， 集 成 测试 对 于 面向 对 
象 系统 来 说 更 重要 。 

2. 面向 对 象 系统 下 层 组 件 的 开发 一 般 更 具 并 行 性 ， 因 此 对 频繁 集成 的 要 求 更 高 。 

3. 由 于 并 行 性 提高 ， 集 成 测试 时 需要 考虑 类 的 完成 顺序 。 也 需要 设计 桩 模块 和 驱动 器 来 
模拟 还 没有 完成 的 类 的 功能 。 


11.3.3 面向 对 象 系统 的 系统 测试 与 互 操作 


面向 对 象 系统 从 设计 上 要 通过 较 小 的 可 重用 组 件 (也 就 是 类 ) 构建 。 这 种 对 现 有 构件 块 
重用 的 强调 使 系统 测试 对 于 面向 对 象 系统 比 传统 系统 变 得 更 重要 。 这 是 因为 ; 

1. 类 可 能 有 不 同 的 部 分 ， 并 不 是 所 有 部 分 都 同时 使 用 。 当 不 同 的 客户 开始 使 用 某 个 类 时 ， 
它们 可 能 使 用 类 的 不 同 部 分 ， 这 可 能 会 在 以 后 阶段 (系统 测试 ) 引入 缺陷 。 

2. 不 同 的 类 可 以 由 客户 组 合 在 一 起 ， 这 种 组 合 可 能 导致 还 没 被 发 现 的 新 缺陷 。 

3. 实例 化 后 的 对 象 可 能 没有 释放 所 分 配 的 所 有 资源 ， 导 致 内 存 泄漏 和 相关 问题 ， 这 些 问 
题 只 能 在 系统 测试 阶段 才能 暴露 出 来 。 

第 5 章 介绍 的 不 同类 型 的 集成 也 适用 于 面向 对 象 系统 。 重 要 的 是 要 保证 类 和 对 象 能 互 操作 ， 
并 可 以 作为 一 个 系统 运行 。 由 于 类 之 间 交 互 的 复杂 性 可 能 是 很 微妙 的 ， 重 要 的 是 要 保证 在 进 
行 系统 测试 之 前 首先 完成 合适 的 单元 和 组 件 测 试 。 因 此 ， 要 在 系统 测试 之 前 确定 各 种 测试 阶 
段 合适 的 进入 和 退出 准则 ， 以 最 大 限度 地 提高 系统 测试 的 有 效 性 。 





11.3.4 面向 对 象 系统 的 回归 测试 


将 集成 测试 的 讨论 再 向 前 推进 一 步 ， 回 归 测 试 对 于 面向 对 象 系统 非常 重要 。 作 为 面向 对 
象 系统 强调 依赖 可 重用 组 件 的 结果 ， 对 任何 组 件 的 变更 都 可 能 对 使 用 该 组 件 的 客户 引入 潜在 
的 副作用 。 因 此 ， 对 于 面向 对 象 系统 测试 来 说 ， 频 繁 运行 集成 和 回归 测试 用 例 是 很 有 必要 的 。 
此 外 ， 由 于 继承 等 性 质 导 致 的 变更 级 联 效应 ， 尽 可 能 早 地 捕获 缺陷 是 很 有 意义 的 。 


11.3.5 面向 对 象 系统 的 测试 工具 


有 一 些 工具 可 以 帮助 面向 对 象 系统 的 测试 ， 包 括 
1. 用 例 

2. 类 图 

3. 序列 图 
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4. 状态 图 
以 下 逐一 介绍 每 种 工具 。 
用 例 


第 4 章 在 讨论 黑 盒 测 试 时 介绍 过 用 例 。 用 例 表示 用 户 在 与 系统 进行 交互 时 将 完成 的 各 种 任 
务 。 用 例 给 出 用 户 完成 每 个 任务 的 具体 步骤 细节 ， 以 及 系统 对 每 个 步骤 的 响应 。 这 符合 面向 
对 象 范例 ， 因 为 任务 和 响应 都 是 通过 消息 传递 给 各 种 对 象 的 。 

类 图 

类 图 表示 不 同 的 实体 和 实体 之 间 的 关系 。 由 于 类 是 面向 对 象 系统 的 基本 构件 块 ， 因 此 类 
图 是 以 系统 的 类 为 基础 的 。 类 图 有 几 个 部 件 ， 这 里 从 测试 角度 出 发 ， 列 出 几 个 重要 的 部 件 。 

类 图 有 以 下 要 素 : 

方块 ”每 个 矩形 方块 表示 一 个 类 。 构 成 类 的 各 种 要 素 在 类 和 矩形 内 的 间隔 处 表示 。 

关联 通过 连 线 表示 两 个 类 之 间 的 关系 。 关 系 可 以 是 “每 个 员工 在 且 仅 在 一 个 部 门 工 作 ”， 
或 “员工 可 以 参加 零 或 多 个 项 目 ” 等 。 因 此 ， 关 联 可 以 是 一 对 一 、 一 对 多 、 多 对 一 等 。 任 何 
一 边 的 都 显示 在 关联 连 线 上 。 

通用 化 ”表示 从 父 类 导出 的 子 类 ， 如 本 章 前 面 讨论 的 那样 。 

类 图 在 多 个 方面 对 测试 很 有 用 : 

1. 类 图 确定 类 的 元 素 ， 因 此 可 以 进行 边界 值 分 析 、 等 价 类 划分 等 ， 以 及 对 应 的 测试 。 

2. 关联 有 助 于 确定 针对 跨 类 的 引用 完整 性 约束 的 测试 用 例 。 

3. 通用 化 有 助 于 确定 类 的 层次 结构 ， 如 果 有 新 的 变量 和 方法 引入 子 类 ， 通 用 化 有 助 于 增 
量 的 类 测试 。 

序列 

前 面 介 绍 过 ， 面 向 对 象 系统 通过 在 各 种 对 象 之 间 传 递 消息 来 运行 。 序 列 图 表示 对 象 间 传 
递 消息 完成 给 定 应 用 场景 或 用 例 的 序列 。 

序列 图 横向 列 出 参与 一 个 任务 或 用 例 的 对 象 。 对 象 的 生存 周期 由 自 顶 向 下 的 纵向 线条 表 
示 。 顶 部 的 虚线 表示 对 象 构建 /激活 ， 末 端的 X 表 示 对 象 的 销毁 。 

两 个 对 象 之 间 的 模 线 表示 消息 。 有 不 同类 型 的 消息 。 消 息 可 以 是 模块 化 的 ， 也 可 以 是 非 
模块 化 的 。 有 些 消息 的 传递 是 有 条 件 的 。 就 像 程 序 设计 语言 中 的 IF 语 句 ， 条 件 消息 要 根据 一 
定 的 布尔 条 件 决 定 传递 给 不 同 的 对 象 。 

在 序列 图 中 ， 时 间 流 逝 方 向 为 自 顶 向 下 。 

序列 图 在 以 下 方面 对 测试 有 帮助 : 

1. 确定 各 点 的 端 到 端 消 息 。 

2. 跟踪 端 到 端 事务 中 的 中 间 点 ， 因 此 能 够 更 容易 地 缩小 确定 问题 的 范围 。 

3. 提供 多 种 典型 的 消息 调用 序列 ， 包 括 模块 化 调用 和 非 模块 化 调用 等 。 

序列 图 对 于 测试 也 有 局 限 性 : 即使 可 能 ， 描 述 复杂 交互 也 会 很 混乱 ， 很 难 表示 动态 绑 定 。 

活动 图 

序列 图 表示 消息 序列 ， 而 活动 图 表示 所 发 生 的 活动 序列 。 活 动 图 用 于 对 应 用 程序 中 典型 
的 工作 流 建 模 ， 描 述 手工 和 自动 过 程 之 间 的 交互 要 素 。 由 于 活动 图 表示 活动 序列 ， 因 此 它 与 
流程 图 类 似 ， 与 传统 流程 图 的 大 多 数 要 素 对 应 。 

完整 的 工作 流 可 以 通过 一 组 活动 状态 可 视 化 ， 每 个 活动 状态 表示 结果 的 一 个 对 应 用 程序 
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有 意义 的 中 间 状 态 。 这 与 步骤 序列 的 标准 流程 图 要 素 一 样 ， 在 步骤 之 间 没 有 条 件 分 支 。 与 传 
统 流程 图 一 样 ， 决 策 框 采用 菱形 框 表 示 ， 每 个 决策 框 有 两 个 退出 通路 (一 个 对 应 决策 布尔 条 
件 为 TRUE， 一 个 对 应 FALSE) ， 在 运行 时 只 选择 一 个 通路 。 由 于 对 象 是 消息 传递 的 目标 和 行 
动 的 起 因 ， 因 此 对 象 也 在 活动 图 中 表示 。 活 动 通过 控制 流 相 互 关 联 ， 控 制 从 前 一 个 活动 流向 
下 一 个 活动 ， 活 动 也 可 以 通过 消息 流 相互 关联 ， 消 息 从 一 个 活动 状态 发 送 给 一 个 对 象 。 由 于 
判断 或 多 控制 流 有 可 能 产生 多 个 分 支 ， 因 此 需要 在 以 后 同步 。 

由 于 活动 图 表示 控制 流 ， 因 此 在 以 下 方面 有 助 于 测试 : 

1. 通过 执行 导出 各 种 通路 的 能 力 。 与 讨论 白 盒 测试 时 介绍 过 的 流程 图 类 似 ， 活 动 图 也 可 
以 用 于 确定 程序 代码 的 代码 复杂 度 和 独立 路 径 。 

2. 确定 活动 和 对 象 之 间 可 能 的 消息 流 的 能 力 ， 因 此 使 前 面 介 绍 过 的 基于 消息 的 测试 更 健 
壮 、 有 效 。 

状态 图 

本 章 前 面 已 经 介绍 了 状态 转移 图 对 测试 的 帮助 。 如 果 对 象 可 以 建 模 为 一 个 状态 机 ， 那 么 
介绍 白 盒 测试 时 讨论 过 的 和 本 章 前 面 介绍 的 基于 状态 的 测试 技术 都 可 以 直接 使 用 。 


11.3.6 小 结 


本 章 介绍 了 有 关 面 向 对 象 系统 测试 的 相关 概念 ， 介 绍 了 前 面 几 章 讨 论 的 通用 技术 如 何在 
面向 对 象 测试 中 适 配 使 用 。 表 11-1 归 纳 了 本 章 的 结论 。 


表 11-1 针对 关键 面向 对 象 概念 的 测试 方法 和 工具 










关键 面向 对 象 概念 
面向 对 象 
类 的 单元 测试 







测试 方法 与 工具 
测试 用 例 需 要 更 紧密 地 集成 数据 和 方法 
边界 值 分 析 、 等 价 类 划分 等 方法 用 于 测试 变量 

代码 覆盖 方法 用 于 测试 方法 

阿尔 法 一 欧米 嘎 方 法 用 于 测试 方法 

活动 图 用 于 测试 方法 

状态 图 用 于 测试 类 的 状态 

压力 测试 通过 反复 实例 化 、 销 毁 类 ， 检 验 内 存 泄漏 和 类 似 缺 陷 
要 求 在 类 级 进行 单元 测试 ， 封 装 时 进行 增 量 式 类 测试 

继承 引入 额外 背景 ， 必 须 测 试 不 同 背景 的 组 合 

由 于 有 额外 背景 ， 桌 面 检查 和 静态 评审 非常 困难 

要 求 对 抽象 类 的 每 个 新 实现 进行 重新 测试 


































封装 与 继承 


















多 态 性 需要 单独 测试 每 个 同名 的 不 同方 法 
代码 的 可 维护 性 会 下 降 
动态 绑 定 传统 的 代码 覆盖 必须 修改 才能 用 于 动态 绑 定 


出 现 出 乎 预料 的 运行 时 缺陷 的 可 能 性 增加 
消息 序列 

序列 图 
需要 更 频繁 的 集成 测试 和 回归 测试 

与 面向 过 程 语言 不 同 ， 集 成 测试 和 单元 测试 之 间 的 界限 不 分 明 

对 象 之 间 的 接口 错误 在 面向 对 象 系统 中 更 常见 ， 因 此 需要 进行 接口 测试 








通过 消息 进行 的 对 象 内 的 通信 








对 象 重用 与 对 象 的 并 行 开 发 
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问题 与 练习 


1. 不 再 分 离 数 据 和 算法 的 思想 被 认为 是 以 算法 为 核心 的 系统 和 以 对 象 为 核心 的 系统 之 间 的 一 
个 主要 差别 。 从 测试 角度 看 ， 这 种 差别 会 带 来 什么 挑战 ? 

2. 测试 数据 生成 器 在 面向 对 象 系统 测试 中 起 什么 作用 ? 

3. 在 本 章 给 出 的 平面 图 形 例子 中 没有 方法 的 重新 定义 。 请 考虑 子 类 重新 定义 了 父 类 的 方法 。 
在 测试 中 应 该 考虑 哪些 问题 ? 

4. “不 支持 使 用 指针 的 面向 对 象 语言 使 测试 更 容易 ”一 一 请 对 这 句 话 作出 评论 。 

5. 请 考虑 一 个 髓 套 五 层 的 类 ， 每 层 只 重新 定义 一 个 方法 。 测 试 这样 的 类 和 实例 化 对 象 会 遇 到 
什么 问题 ? 

6. 为 什么 集成 测试 和 系统 测试 对 于 面向 对 象 系统 尤其 重要 ? 

7. 与 传统 面向 过 程 的 系统 相 比 ， 面 向 对 象 系统 的 回归 测试 的 方法 有 哪些 不 同 ? 
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12.1 可 使 用 性 测试 的 定义 





项 任意 键 继 续 | 
项 任意 键 退 出 | 
项 任意 键 重 试 | 








可 使 用 性 测试 试图 从 用 户 视点 刻画 产品 的 “外 观 和 感觉 ”以 及 用 法 。 前 面 讨论 过 的 大 多 
数 测试 类 型 都 是 客观 的 。 有 人 认为 可 使 用 性 测试 根本 就 不 属于 测试 范畴 。 这 场 争 论 的 焦点 天 
素 主 要 有 : 

1. 可 使 用 性 和 外 观感 觉 问 题 本 质 上 是 主观 的 ， 并 不 总 能 客观 地 度量 。 

2. 对 “高 可 使 用 性 ”的 理解 因 人 而 异 。 例 如 ， 系 统管 理 员 或 开发 人 员 会 觉得 使 用 命令 行 
和 使 用 用 户 界 面 一 样 好 ， 而 最 终 用 户 会 要 求 所 有 操作 都 要 通过 GUI 要 素 ， 例 如 菜单 、 对 话 杠 
等 完成 。 

3. 用 户 界面 可 以 看 作 是 一 种 设计 时 的 活动 。 如 果 某 种 用 户 界面 不 能 满足 用 户 要 求 ， 问 题 
的 根源 在 于 没有 采集 到 合适 的 需求 ， 或 没有 把 需求 转换 成 合适 的 设计 。 

基于 以 上 原因 ， 有 一 种 观点 认为 可 使 用 性 只 能 确认 ， 不 能 测试 。 不 管 可 使 用 性 测试 在 语 
义 上 是 测试 活动 还 是 确认 活动 ,“ 可 使 用 性 测试 ”或 “可 使 用 性 确认 ”的 一 些 特性 包括 ， 

1. 可 使 用 性 测试 从 用 户 的 视角 测试 产品 。 可 使 用 性 测试 包括 确定 用 户 如 何 与 产品 交互 ， 
即使 用 产品 的 一 系列 技术 。 

2. 可 使 用 性 测试 要 检查 各 类 用 户 是 否 能 很 容易 地 使 用 产品 。 

3. 可 使 用 性 测试 是 从 使 用 愉悦 性 和 美学 角度 确定 产品 的 用 户 界面 和 人 员 用 户 需求 之 间 的 


矛盾 的 过 程 。 
EE 疯 | 试 萨 不 合 ， 百 人 Wj = i ea 
jiu 和 反 以 上 决定 可 合用 性 员 斌 的 各 种 要素 符 丰 并 ， 可 得 到 以 下 了 
”1 易 用 性 品 的 易 用 性 、 违 度 和 美 
0 感 的 测试 叫做 可 使 用 性 


3. 使 用 愉悦 性 和 美感 os 

可 使 用 性 测试 从 用 户 角 度 描述 这 三 个 方面 的 问题 。 综 合 这 些 特 征 可 以 正式 定义 可 使 用 性 
测试 。 

根据 以 上 定义 可 以 很 容易 得 出 以 下 结论 ， 

1. 由 于 一 个 产品 可 能 有 不 同类 型 的 用 户 ， 因 此 对 一 个 用 户 很 容易 的 产品 对 另 一 个 用 户 却 
不 一 定 。 

2. 一 个 用 户 认为 〈 比 方 说 响应 时 间 ) 快 ， 可 能 另 一 个 用 户 却 可 能 认为 慢 ， 因 为 他 们 使 用 
的 机 器 和 对 速度 的 预期 是 不 同 的 。 
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3. 有 些 人 认为 漂亮 的 产品 另 一 些 人 却 可 能 认为 很 丑 。 

4. 一 个 用 户 对 产品 的 观点 可 能 不 是 另 一 个 用 户 的 观点 。 

由 于 这 些 原因 ， 可 使 用 性 像 前 面 提 到 的 那样 仍然 是 主观 的 。 但 是 ， 如 果 产 品 结合 了 整个 
用 户 群 的 不 同 观点 和 需求 ， 就 可 能 成 为 成 功 的 产品 。 在 整个 软件 界 ， 可 使 用 性 测试 变 得 越 来 
越 重要 ， 因 为 产品 可 使 用 性 的 敏感 性 在 增加 ， 如 果 不 能 满足 用 户 的 可 使 用 性 需求 就 很 难 销售 
出 产品 。 有 一 些 标准 (例如 易 获 得 性 指南 )、 组 织 、 工 具 (例如 Microsoft Magifier) 和 过 程 可 
以 减弱 可 使 用 性 测试 的 主观 性 ， 提 高 客观 性 。 


12.2 可 使 用 性 测试 的 途径 


在 进行 可 使 用 性 测试 时 ， 一 些 人 员 因 素 可 以 定量 表示 ， 并 能 够 客观 地 测试 。 完 成 一 个 任 
务 所 需 的 鼠标 点 击 次 数 、 要 选择 的 子 菜单 个 数 、 敲 键 次 数 、 命 令 数 量 都 可 以 度量 和 检查 ， 并 
作为 可 使 用 性 测试 的 一 部 分 。 显 然 ， 如 果 完 成 一 个 用 户 任务 所 需 的 鼠标 点 击 次 数 过 多 或 命令 
过 多 ， 就 不 能 认为 产品 是 易于 使 用 的 。 

有 时 只 提高 一 点 可 使 用 性 就 会 得 到 很 大 好 处 ， 使 产品 的 用 户 数 增加 。 例 如 ，Philips“ 十 
字 ” 螺 丝 刀 的 发 明 ， 与 “一 字 ” 螺 丝 刀 相 比 ， 每 转动 一 次 螺丝 刀 只 节省 千 分 之 几 秒 ， 如 图 
12-1 所 示 ， 但 是 有 很 多 用 户 重复 地 使 用 ， 可 以 节约 很 多 人 年 的 工作 。 这 就 是 为 什么 很 小 的 可 
使 用 性 提高 对 用 户 就 会 意味 着 很 大 的 可 使 用 性 优势 。 我 们 把 这 个 例子 推广 到 帮助 数据 录入 操 
作 员 采集 用 户 订单 的 软件 产品 。 如 果 可 以 降低 每 个 订单 处 理 的 鼠标 点 击 次 数 ， 比 方 说 三 次 ， 
那么 如 果 要 输入 几 十 万 个 订单 ， 那 么 可 以 节约 的 总 时 间 就 很 可 观 了 。 








螺丝 刀 需 要 拧 动 
的 位 置 是 0~180" 


螺丝 刀 需 要 打动 
的 位 置 是 0~90° 
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图 12-1 Philips“ 十 字 ” 螺 丝 刀 与 “一 字 ” 螺 丝 刀 的 比较 


可 使 用 性 测试 不 仅 要 针对 产品 的 二 进 制 代码 或 可 执行 代码 ， 还 包括 文档 和 其 他 随 产品 一 
起 提交 的 可 交付 产品 。 也 要 进行 可 使 用 性 测试 。 例 如 ， 把 发 布 媒介 插入 计算 机 后 自动 设置 产 
品 的 典型 AUTORUN 脚 本 。 有 时 这 种 脚本 是 特定 操作 系统 版 专用 的 ， 可 能 不 能 在 其 他 操作 系 
统 版 本 上 自动 执行 。 即 使 用 户 可 以 通过 手工 点 击 鼠 标 进 行 设置 ， 但 是 这 种 额外 点 击 (事实 上 
产品 并 不 能 算是 自动 安装 的 ) 对 于 执行 安装 的 用 户 来 说 可 能 就 会 有 不 好 的 印象 。 

一 般 来 说 ， 最 适合 实施 可 使 用 性 测试 的 人 是 : 

1. 将 使 用 该 产品 的 实际 用 户 群 的 典型 代表 ， 以 便 获取 典型 的 用 户 模式 。 

2. 第 一 次 接触 该 产品 的 人 ， 从 一 开始 就 没有 任何 偏见 ， 能 够 找 出 可 使 用 性 问题 。 多 次 使 
用 过 该 产品 的 人 可 能 会 看 不 到 产品 可 使 用 性 方面 的 问题 ， 因 为 他 们 对 产品 已 经 “习惯 ”了 产 
品 的 (潜在 不 合适 的 ) 可 使 用 性 。 

因此 ， 可 以 从 测试 团队 之 外 的 客户 代表 中 选择 一 部 分 人 进行 可 使 用 性 测试 。 邀 请 了 解 用 
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户 想 要 什么 和 客户 预期 的 面 对 客 户 的 团队 (例如 客户 支持 、 产 品 市 场 开 发 人 员 )， 可 提高 可 使 


用 性 测试 的 有 效 性 。 

可 使 用 性 有 时 可 以 是 执行 其 他 类 型 测试 的 副产品 并 被 注意 到 。 很 难 
试用 例 。 一 般 来 说 ， 要 针对 可 使 用 性 准备 检查 单 和 指南 ， 并 在 测试 期 
间 遵 守 。 在 发 现 可 使 用 性 缺陷 时 关注 细节 、 直 觉 和 构建 技能 ， 与 编写 
可 使 用 性 测试 用 例 相 比 ， 会 使 可 使 用 性 测试 更 有 效 。 在 可 使 用 性 中 有 
很 多 东西 (将 在 后 续 各 节 中 介绍 ) 需要 检查 ， 公 司 应 该 培训 和 普及 对 
可 使 用 性 方面 专门 知识 的 了 解 ， 以 实现 和 测试 可 使 用 性 。 

可 使 用 性 的 另 一 个 问题 是 系统 对 用 户 给 出 的 消息 。 消 息 分 为 


针对 可 使 用 性 编写 测 


可 使 用 性 的 正确 途 
径 ， 是 测试 对 用 户 有 影 
响 的 所 有 工作 产品 ， 例 
如 二 进 制 代码 、 文 档 、 
媒介 ， 包 括 图 形 和 命令 
用 户 界 面 的 使 用 模式 是 


三 类 一 一 信息 消息 、 和 警告 消息 和 错误 消息 。 可 使 用 性 测试 内 容 取 决 于 秒 迁 
了 适用。 





错误 消息 的 类 型 。 当 出 现 信 息 消 息 时 ， 要 对 消息 进行 检查 ， 看 最 终 用 
户 是 否 能 够 理解 这 条 消息 ， 并 将 所 完成 的 操作 和 背景 关联 起 来 。 当 出 现 浆 告 消息 时 ， 要 检查 
为 什么 会 出 现 这 条 消息 ， 如 何 避 免 出 现 这 条 消息 。 当 出 现 错误 消息 时 ， 要 检查 三 个 内 容 : 错 
误 是 什么 、 为 什么 会 出 现 这 个 错误 以 及 如 何 避 免 或 绕 开 这 个 错误 。 

可 使 用 性 并 不 只 针对 正确 使 用 。 当 用 户 没有 犯错 误 ， 产 品 能 正确 运行 ， 而 当 用 户 犯 了 错 
误 ， 产 品 运 行 不 正常 〈 或 说 用 户 界 面 不 友好 ) ， 就 说 产品 是 可 用 的 都 是 不 对 的 。 系 统 应 该 明智 
地 检测 和 避免 错误 的 用 法 ， 如 果 错 误 用 法 不 能 避免 ， 系 统 应 该 提供 一 个 恰当 和 有 意义 的 消息 ， 
把 用 户 引 导 到 正确 的 道路 上 。 因 此 ， 可 使 用 性 应 该 通过 正面 和 负面 测试 ， 即 产品 的 正确 和 错 
误 使 用 。 

可 使 用 性 不 要 和 图 形 用 户 界面 (GUI) 混淆 。 可 使 用 性 还 适用 于 非 GUI 界 面 ， 例 如 命令 
行 界面 (CLI) 。 有 大 量 Unix/Linux 用 户 认为 CLI 比 GUI 更 可 使 用 。SQL 命 令 是 CLI 的 另 一 个 例 
子 ， 对 于 数据 库 用 户 来 说 ，SQL 更 可 使 用 。 因 此 ， 可 使 用 性 还 应 该 考虑 用 户 使 用 的 CLI 和 其 
他 界面 。 


12.3 可 使 用 性 测试 的 时 机 


确保 可 使 用 性 的 最 佳 时 机 是 实施 两 个 阶段 的 可 使 用 性 测试 。 第 一 阶段 进行 设计 确认 ， 第 
二 阶段 作为 测试 周期 中 的 组 件 和 集成 测试 的 一 部 分 进行 可 使 用 性 测试 。 

早 在 开发 周期 策划 测试 时 ， 就 应 该 并 行 地 策划 可 使 用 性 需求 ， 这 与 任何 其 他 类 型 的 测试 
相似 。 但 是 一 般 来 说 ， 可 使 用 性 往往 被 忽视 (至 少 分 配 的 优先 级 很 低 )， 并 没有 从 项 目的 开始 
就 进行 策划 和 执行 。 如 果 有 两 个 缺陷 ， 一 个 是 功能 缺陷 ， 一 个 是 可 使 用 性 缺陷 ， 通 常 功 能 缺 
陷 会 有 处 理 规 程 。 这 种 方法 是 不 对 的 ， 因 为 可 使 用 性 缺陷 可 能 会 使 用 户 丧失 使 用 软件 的 兴趣 
(即使 执行 的 是 所 需 的 功能 ) ， 如 果 用 户 拒绝 产 品 ， 就 意味 着 给 产品 公司 造成 巨大 经 济 损失 。 
此 外 ， 实 践 证 明 在 测试 周期 中 推 后 可 使 用 性 测试 会 有 很 高 的 代价 ， 因 为 大 量 可 使 用 性 缺陷 最 
终 需要 修改 设计 ， 需 要 修改 多 个 屏幕 ， 会 影响 不 同 的 代码 路 径 。 如 果 尽 早 策划 可 使 用 性 测试 
就 可 以 避免 这 些 情况 出 现 。 图 12-2 给 出 了 可 使 用 性 测试 的 阶段 和 活动 。 

产品 的 可 使 用 性 要 通过 设计 实现 。 只 考虑 功能 的 产品 设计 不 能 得 到 用 户 的 认可 。 针 对 功 
能 的 产品 设计 还 需要 大 量 的 培训 ， 如 果 设 计时 既 考虑 功能 又 考虑 可 使 用 性 就 会 最 大 限度 地 降 
低 培训 要 求 。 在 可 使 用 性 测试 的 第 一 阶段 ， 要 确认 可 使 用 性 设计 的 这 个 方面 。 

可 使 用 性 设计 可 以 通过 多 种 手段 验证 ， 包 括 : 

。 风 格 单 风格 单列 出 用 户 界面 设计 要 素 。 使 用 风格 单 可 保证 多 个 屏幕 设计 要 素 的 一 致 性 ， 
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测试 风格 单 可 保证 测试 基本 的 可 使 用 性 设计 。 风 格 单 还 包括 帧 ， 每 个 帧 都 被 用 户 认为 
是 一 个 独立 的 屏幕 。 要 对 风格 单 进行 评审 ， 检 查 风格 单 是 否 规定 了 字体 大 小 、 颜 色 模 
式 等 ， 这 些 可 能 会 影响 可 使 用 性 。 

屏幕 原型 屏幕 原型 是 可 使 用 性 设计 的 另 一 种 测试 方法 。 屏 幕 设计 成 与 提交 给 客户 的 一 
样 ， 但 是 没有 与 产品 的 其 他 模块 集成 。 因 此 ， 这 种 用 户 界面 不 与 其 他 功能 模块 集成 ， 
独立 地 测试 。 这 种 原型 有 模拟 的 其 他 用 户 界 面 功能 ， 例 如 屏幕 导航 、 消 息 显 示 等 。 原 
型 使 用 户 对 产品 发 布 后 屏幕 的 确切 外 观 和 功能 有 直观 印象 。 测 试 团队 和 一 些 真 实用 户 
测试 这 种 原型 ， 并 把 改进 意见 吸收 到 用 户 界面 中 。 当 这 种 原型 彻底 测试 以 后 ， 再 与 产 
品 的 其 他 模块 集成 。 

书面 设计 书面 设计 利用 确认 可 使 用 性 设计 的 最 早 机 会 ， 早 在 产品 的 实际 设计 和 编码 还 
没有 完成 前 就 可 以 实施 。 屏 幕 、 布 局 和 菜单 的 设计 被 画 在 纸 上 ， 提 交 给 用 户 等 待 反馈 
意见 。 用 户 可 视 化 将 书面 设计 和 操作 及 操作 顺序 关联 起 来 ， 得 到 使 用 产品 的 感觉 ， 并 
提出 反馈 意见 。 使 用 风格 单 需要 进一步 的 编码 ， 原 型 需要 二 进 制 代码 和 资源 来 验证 ， 
但 是 书面 设计 却 不 需要 任何 其 他 资源 。 书 面 设 计 可 以 通过 电子 邮件 发 送 或 打印 ， 并 采 
集 反 馈 意 见 。 

布局 设计 风格 单 保证 一 套用 户 界面 要 素 被 组 织 起 来 ， 并 一 起 反复 使 用 。 布 局 有 助 于 动 
态 地 在 屏幕 上 安排 不 同 的 要 素 ， 保 证 要 素 、 空 白 、 字 体 尺 寸 、 图 片 、 排 列 风格 等 在 屏 
幕 上 的 安排 。 这 是 可 使 用 性 设计 的 一 部 分 ， 也 需要 进行 测试 。 





图 12-2 可 使 用 性 测试 的 阶段 和 活动 


如 果 对 现 有 产品 进行 再 设计 或 增强 ， 通 过 使 用 现 有 的 布局 可 以 避免 可 使 用 性 问题 ， 因 为 
用 户 已 经 熟悉 了 产品 ， 会 认为 这 样 更 可 使 用 。 对 现 有 产品 进行 重大 可 使 用 性 变更 《例如 重新 
组 织 屏幕 上 的 按键 顺序 ) ， 会 使 用 户 产 生 困 惑 ， 导 致 出 现 用 户 错误 。 

在 第 二 阶段 ， 要 运行 产品 ， 测 试 可 使 用 性 。 在 执行 测试 前 ， 要 挑选 一 部 分 实际 用 户 (第 
一 次 接触 产品 和 特性 ) 使 用 产品 ， 收 集 他们 的 反馈 意见 ， 并 解决 所 提出 的 问题 。 有 时 很 难 请 
到 产品 的 实际 用 户 进行 可 使 用 性 测试 。 在 这 种 情况 下 ， 可 从 产品 开发 团队 外 部 挑选 一 些 用 户 
代表 ， 例 如 支持 、 市 场 开 发 和 销售 人 员 。 

什么 时 候 实施 可 使 用 性 测试 还 取决 于 所 开发 的 产品 类 型 。 例 如 ， 针 对 局 域 网 环境 设计 的 
客户 应 用 程序 (Windows client32) 通常 有 很 丰富 的 特性 ， 每 个 屏幕 都 试图 完成 各 种 任务 ， 并 
提供 大 量 信息 。Web 服 务 则 不 同 ， 每 个 屏幕 的 信息 量 和 任务 很 有 限 ， 以 快速 装载 Web 页 面 。 
对 这 些 类 型 的 应 用 程序 要 在 不 同 阶段 完成 可 使 用 性 测试 活动 。 表 12-1 对 比 了 客户 和 Web 服 务 
的 一 般 开 发 和 测试 方法 。 
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表 12-1 客户 和 Web 应 用 程序 的 开发 和 测试 





客户 应 用 程序 Web 应 用 程序 
第 1 步 : 设计 功能 第 1 步 : 设计 用 户 界面 
第 2 步 : 编写 功能 代码 第 2 步 : 编写 用 户 界面 代码 (原型 ) 
第 3 步 : 设计 用 户 界 面 第 3 步 : 测试 用 户 界面 (第 1 阶段 ) 
第 4 步 : 编写 用 户 界面 代码 第 4 步 : 设计 功能 
第 5 步 : 将 用 户 界 面 与 功能 集成 第 5 步 : 编写 功能 代码 
第 6 步 : 结合 功能 测试 用 户 界面 (第 1、2 阶 段 ) 第 6 步 : 将 用 户 界面 与 功能 集成 


第 7 步 : 结合 功能 测试 用 户 界面 (第 2 阶段 ) 


如 表 12-1 所 示 ，Web 界 面 要 在 设计 功能 之 前 设计 。 这 为 实施 两 阶段 (第 1 和 第 2 阶段 ) 的 
可 使 用 性 测试 留 下 了 充足 的 时 间 。 而 在 客户 应 用 程序 中 ， 用 户 界面 只 能 在 确定 了 功能 以 后 确 
定 ， 因 为 用 户 界面 编码 是 最 后 一 项 活动 ， 设 计 确 认 没有 多 少 工作 要 作为 一 个 单独 阶段 完成 。 
因此 ， 将 第 1、2 阶 段 合并 。 同 时 ， 没 有 硬性 和 严格 规定 客户 应 用 程序 不 能 在 功能 设计 前 先 设 
计 用 户 界面 。 随 着 越 来 越 多 地 关注 可 使 用 性 ， 这 是 唯一 可 以 改变 的 公共 实践 。 

只 是 测试 本 身 并 不 能 使 产品 完全 可 使 用 。 产 品 必须 针对 可 使 用 性 进行 设计 、 编 码 、 测 试 ， 
因此 真实 用 户 应 该 参加 可 使 用 性 方面 的 评审 才能 取得 最 大 效益 。 3 

前 几 章 介绍 了 多 个 测试 阶段 。 可 使 用 性 测试 的 责任 散布 在 所 有 测 本 使 用 产品 永远 
试 阶段 和 测试 团队 中 。 可 使 用 性 不 能 “外 加 ”到 产品 上 ， 应 该 预先 策 ”有 是 所 有 相关 利益 方 在 束 
划 ， 并 必须 彻底 测试 。 因 此 ， 可 使 用 性 作为 一 种 需求 可 以 间接 地 测试 ”个 贾 目 开发 期 间 共 同 协 
(直接 测试 由 测试 团队 完成 ) ， 从 产品 开发 的 第 一 天 开始 ， 一 直 持续 到 ” 作 的 结 采 。 
产品 发 布 。 在 产品 开发 中 的 每 个 人 都 需要 贡献 可 使 用 性 的 各 种 视点 和 需求 。 


12.4 实现 可 使 用 性 的 方法 


如 果 有 人 期 望 用 户 会 明确 地 报告 可 使 用 性 问题 ， 那 他 的 期 望 是 会 落空 的 。 对 用 户 界面 失 
望 的 用 户 可 能 会 逐渐 总 结 出 一 些 绕 过 方法 (其 至 不 再 使 用 产品 的 一 部 分 ! )。 但 是 ， 主 动 吸收 
用 户 参 加 用 户 界面 设计 可 以 得 到 很 好 的 结果 。 用 户 界 面 需 求 不 能 采用 文字 描述 。 用 户 使 用 产 
品 时 ， 必 须 有 这 种 产品 是 可 使 用 的 感觉 。 这 就 是 为 什么 要 预先 或 在 设计 阶段 (其 至 是 需求 获 
取 阶 段 ) 吸收 客户 ， 采 集 客户 对 所 有 用 户 界面 需求 的 反馈 意见 的 原因 。 当 然 这 也 并 不 总 能 行 
得 通 ， 因 为 : 

1. 用 户 可 能 没有 时 间 参 加 这 种 活动 。 

2. 有 些 用 户 会 提出 矛盾 的 需求 ， 不 可 能 满足 每 个 人 的 愿望 。 

3. 对 于 突破 性 创新 产品 ， 用 户 其 至 不 能 想象 怎么 使 用 产品 。 因 此 反馈 意见 可 能 不 直接 
相关 。 

用 户 有 不 同 的 类 别 。 有 些 用 户 可 能 是 专家 ， 有 些 可 能 刚 人 门 ， 还 有 些 可 能 是 初学 者 。 专 
家 用 户 通常 不 会 提出 可 使 用 性 问题 ， 他 们 会 想 出 绕 过 办 法 ， 并 自己 适应 产品 ， 尽 管 他 们 也 希 
望 得 到 更 好 的 产品 。 刚 入 门 的 用 户 通常 会 受到 可 使 用 性 的 影响 ， 但 仍然 不 会 提出 可 使 用 性 问 
题 ， 因 为 他 们 渴望 了 解 更 多 的 产品 知识 。 他 们 通常 不 知道 是 可 使 用 性 方面 的 问题 还 是 自己 不 
太 会 使 用 产品 的 原因 。 每 一 类 用 户 对 产品 的 期 望 也 是 不 同 的 。 初 学 者 会 提出 大 量 可 使 用 性 问 
题 ， 但 是 有 些 不 会 考虑 ， 因 为 他 们 还 没有 足够 技能 使 用 产品 。 不 考虑 用 户 的 分 类 ， 产 品 就 要 
对 所 有 用 户 都 是 可 使 用 的 。 
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除了 以 上 类 别 的 用 户外 ， 还 有 一 些 用 户 对 产品 的 可 使 用 性 很 具 挑 战 性 ， 即 听力 、 视 力 或 
活动 有 障碍 的 用 户 。 应 对 听力 、 视 力 和 活动 有 障碍 用 户 的 可 使 用 性 测试 ， 叫 做 易 获 得 性 测试 ， 


将 在 12.7 市 讨论 。 


为 了 使 产品 对 于 所 有 类 型 的 用 户 都 是 可 使 用 的 ， 每 类 用 户 至 少 要 吸收 一 人 参加 可 使 用 性 
测试 。 前 面 介 绍 过 ， 吸 收 每 类 用 户 参 加 可 使 用 性 测试 并 不 总 是 行 得 通 的 。 因 此 ， 可 使 用 性 测 
试 团队 的 一 部 分 人 要 从 不 同 的 团队 挑选 ， 代 替 不 同类 型 的 真实 最 终 用 户 测试 。 

前 面 介 绍 过 ， 很 多 类 型 的 用 户 和 客户 并 不 会 提出 可 使 用 性 缺陷 。 问 题 并 不 是 产品 是 否 有 





可 使 用 性 是 一 种 习 
惯 和 行为 。 就 像 人 一 样 ， 
对 于 不 同 的 用 户 及 其 预 
期 ， 产 品 要 有 不 同 的 和 
正确 的 行为 。 


可 使 用 性 缺陷 ， 而 是 用 户 如 何 对 产品 使 用 作出 反应 。 有 时 这 些 用 户 反 
应 例如， 愤怒 的 用 户 砸 键盘 表示 系统 的 响应 时 间 还 不 够 快 ) 会 比 他 
们 实际 提出 的 缺陷 更 有 说 服 力 。 当 用 户 在 可 使 用 性 测试 中 使 用 产品 时 ， 
他 们 的 活动 受到 严密 的 监视 ， 观 察 到 的 所 有 现象 都 要 记录 下 来 ， 并 由 
测试 团队 提出 缺陷 ， 而 不 是 期 待 所 有 问题 都 靠 用 户 提 出 。 记 录 操 作 序 





列 、 屏 幕 、 用 户 反 应 和 观察 都 需要 建立 可 使 用 性 实验 室 。12.9 节 将 详 
细 介 绍 这 个 问题 。 在 进行 观察 前 要 提出 一 定 的 指南 /检查 单 ， 在 可 使 用 性 测试 中 进行 检验 。 检 
查 单 中 的 一 些 检查 项 包括 : 

1. 用 户 是 否 成 功 地 完成 了 所 指定 的 任务 /操作 ? 

2. 如 果 是 ， 他 们 完成 该 任务 /操作 用 了 多 少时 间 ? 

3. 产品 的 响应 时 间 是 否 足够 快 ， 能 够 感到 满意 ? 

4. 用 户 在 什么 地 方 受阻 ” 遇 到 了 什么 麻烦 ? 

5. 他 们 在 哪里 感到 困惑 ? 靠 自 己 能 继续 吗 ? 什么 帮助 他 们 继续 下 去 ? 

除了 检查 单 ， 产 品 还 要 针对 其 他 可 使 用 性 成 分 进行 检验 ， 例 如 可 理解 性 、 一 致 性 、 响 应 
和 美观 程度 。12.5 节 和 12.6 节 将 讨论 这 些 问题 。 


12.5 可 使 用 性 的 质量 因素 


前 面 几 节 介 绍 了 可 使 用 性 测试 以 及 实施 可 使 用 性 测试 的 途径 和 方法 论 。 在 实施 可 使 用 性 
测试 时 有 些 质量 因素 是 非常 重要 的 。 前 面 介绍 过 ， 可 使 用 性 是 主观 性 的 ， 并 不 是 可 使 用 性 的 
所 有 需求 都 可 以 清楚 地 写 入 文档 。 但 是 ， 关 注 以 下 给 出 的 质量 因素 可 以 提高 可 使 用 性 测试 的 
客观 性 。 

1. 可 理解 性 产品 应 该 有 简单 和 有 逻辑 性 的 特性 和 文档 结构 ， 应 该 以 用 户 场景 和 使 用 为 基 
础 。 在 场景 早期 执行 的 最 常 使 用 的 操作 应 该 通过 用 户 界面 首先 给 出 。 当 把 特性 和 组 件 集成 进 
产品 时 ， 应 该 按 用 户 的 术语 ， 而 不 是 按 技术 或 实现 术语 。 

2. 一 致 性 产品 需要 与 适用 的 标准 、 平 台 外 观感 觉 、 基 本 设施 和 同一 产品 的 早期 版 本 一 致 。 
此 外 ， 如 果 同 一 公司 有 多 个 产品 ， 那 么 这 些 产 品 在 外 观 和 感觉 上 最 好 有 一 定 的 一 致 性 。 在 不 
同 底层 操作 系统 上 的 不 同 用 户 界面 会 使 用 户 不 满 ， 因 为 用 户 在 使 用 这 些 操 作 系统 上 的 产品 版 
本 时 ， 需 要 对 不 同 的 模板 和 规程 感到 舒服 。 例 如 ， 如 果 一 个 操作 系统 使 用 一 种 带 有 一 套图 标 、 
错误 编号 、 错 误 消 息 和 到 相关 文档 的 链接 的 错误 消息 模板 ， 遵 循 同样 的 格式 会 使 用 户 对 该 操 
作 系统 上 的 产品 感到 更 舒服 。 除 非 产 品 的 用 户 界面 有 严重 问题 ， 否 则 当前 的 界面 和 用 法 要 与 
相同 产品 的 较 早 版 本 一 致 。 遵 循 一 些 可 使 用 性 标准 有 助 于 满足 可 使 用 性 的 一 致 性 要 素 要 求 。 

3. 导航 这 有 助 于 确定 选择 产品 的 不 同 操作 有 多 容易 。 隐 藏 很 深 的 选项 需要 用 户 经 过 多 个 
屏幕 或 菜单 选项 才能 执行 该 操作 。 执 行 一 个 操作 所 需 的 鼠标 点 击 或 菜单 选择 次 数 应 该 尽 可 能 
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减少 ， 以 提高 可 使 用 性 。 在 用 户 受 阻 或 感到 困惑 时 ， 应 该 有 容易 的 选项 放弃 或 退回 到 前 一 个 
屏幕 或 主 菜单 ， 以 便 用 户 尝试 选择 一 条 不 同 的 操作 路 径 。 

4. 响应 产品 对 用 户 请 求 的 响应 有 多 快 是 可 使 用 性 的 另 一 个 重要 方面 。 不 要 把 可 使 用 性 的 
响应 与 性 能 测试 混 请 起 来 。 屏 幕 导 航 和 直观 显示 应 该 几乎 在 用 户 选择 了 某 个 选项 后 立即 给 出 ， 
否则 会 给 用 户 留 下 没有 进展 的 印象 ， 使 他 们 不 断 重 复 尝试 。 只 要 产品 在 进行 信息 处 理 ， 就 应 
该 提供 进展 以 及 指示 还 剩 多 少时 间 的 直观 显示 ， 使 用 户 耐心 等 待 ， 直 到 操作 完成 。 用 于 指导 
用 户 的 适当 的 对 话 框 和 弹出 窗口 也 可 以 提高 可 使 用 性 。 不 能 用 太 多 的 弹出 窗口 和 对 话 框 处 理 
响应 。 在 很 短 的 时 间 内 出 现 太 多 的 提示 只 会 降低 可 使 用 性 ， 事 实 上 还 会 降低 响应 时 间 。 

在 可 使 用 性 检查 单 中 增加 一 些 以 上 讨论 的 质量 因素 ， 保 证 在 设计 和 测试 时 考虑 这 些 因素 ， 
有 助 于 得 到 好 的 可 使 用 的 产品 。 


12.6 美感 测试 


可 使 用 性 中 另 一 个 重要 方面 是 使 产品 “漂亮 ”。 实 施 美感 测试 有 助 于 进一步 提高 可 使 用 性 。 
美感 测试 很 重要 ， 因 为 很 多 公司 的 产品 中 与 美感 有 关 的 很 多 问题 都 因为 不 属于 功能 缺陷 而 被 
忽视 。 产 品 中 的 所 有 美感 问题 一 般 都 会 映射 到 所 谓 “装饰 性 ”缺陷 类 别 中 ， 其 优先 级 是 最 低 
的 。 用 一 个 单独 的 测试 周期 关注 美感 有 助 于 建立 预期 ， 并 关注 改进 用 户 界面 的 外 观 和 感觉 。 

是 否 “ 漂 亮 ” 是 一 种 主观 判断 (“情人 眼 里 出 西施 ”)。 对 一 个 人 是 可 接受 的 东西 ， 另 一 个 
人 可 能 认为 很 丑 。 关 注 产 品 的 美感 问题 可 以 保证 产品 是 漂亮 的 ， 至 少 产品 最 后 绝 不 能 说 是 很 
丑 。 美 观 决定 产品 的 第 一 印象 ， 产 品 是 否 漂亮 不 重要 的 认识 可 能 会 影响 用 户 对 产品 的 接受 。 

但 是 ， 在 很 多 产品 公司 中 美学 都 要 往 后 靠 。 美 观 不 仅 是 外 观 ， 而 


存在 于 所 有 方面 ， 例 如 消息 、 屏 幕 、 色 彩 和 图 像 。 令 人 舒服 的 菜单 外 
观 、 令 人 愉悦 的 色彩 、 小 巧 的 图 标 等 可 以 提高 美观 程度 。 一 般 认为 这 
是 镀金 ， 但 这 种 观点 是 不 对 的 。 镀 金 通常 是 在 装饰 完成 后 进行 ， 而 美 
观测 试 则 不 应 该 是 最 后 一 项 测试 活动 。 有 些 美 学 问题 必须 在 设计 阶段 
解决 ， 不 应 该 被 看 作 是 发 布 之 前 最 后 的 低 优先 级 的 活动 。 


要 让 所 有 产品 都 像 


Taj Mahal 那 么 漂亮 是 不 
可 能 的 。 但 是 针对 美观 
的 测试 至 少 能 保证 产品 
看 上 去 很 舒服 。 


美观 测试 可 以 由 任何 具有 审美 观 的 人 承担 ， 这 意味 着 所 有 人 。 邀 请 美学 家 、 艺 术 家 和 建 


筑 师 这 些 在 日 常生 活 中 从 不 同方 面 创造 美 (不 只 是 产品 ) 的 人 在 美观 测试 中 担任 专家 。 在 设 
计 和 测试 阶段 邀请 他 们 ， 听 取 他 们 的 意见 ， 使 产品 更 美观 。 例 如 ， 如 果 由 艺术 家 设计 产品 中 
使 用 的 图 标 会 更 吸引 人 ， 因 为 它们 不 仅 传递 信息 ， 而 且 使 产品 更 漂亮 。 


12.7 易 获得 性 测试 


很 多 人 的 视力 、 听 力 和 移动 存在 部 分 或 完全 的 障碍 。 不 考虑 他 们 的 需求 ， 产 品 可 使 用 性 


会 不 被 接受 。 对 于 这 些 用 户 ， 要 提供 使 用 产品 的 替代 方法 。 有 一 些 工 
具 可 以 帮助 提供 替代 方法 。 这 些 工具 通常 叫做 易 获得 性 工具 或 辅助 技 
术 。 易 获得 性 测试 要 测试 这 些 使 用 产品 的 替代 方法 ， 结 合 易 获得 性 工 
具 测 试 产品 。 易 获得 性 是 可 使 用 性 的 一 个 子 集 ， 应 该 包含 到 可 使 用 性 
测试 策划 中 。 

产品 的 易 获 得 性 可 以 通过 两 种 手段 提供 。 





检验 产品 对 于 行动 
不 便 的 用 户 也 具有 可 使 
用 性 的 测试 叫做 易 获 得 
性 测试 。 





1. 利用 基础 架构 (例如 操作 系统 ) 提供 的 易 获得 性 特性 ， 叫 做 基本 易 获 得 性 ; 
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2. 通过 标准 和 指南 在 产品 中 提供 的 易 获 得 性 ， 叫 做 产品 易 获得 性 。 
12.7.1 基本 易 获得 性 


基本 易 获 得 性 是 硬件 和 操作 系统 提供 的 。 计 算 机 的 所 有 输入 和 输出 设备 和 其 易 获 得 性 选 
项 都 属于 基本 易 获 得 性 。 

键盘 易 获 得 性 

键盘 对 于 视力 和 移动 有 障碍 的 用 户 来 说 是 最 复杂 的 设备 。 因 此 ， 在 易 获 得 性 上 要 特别 注 
意 键盘 。 有 些 易 获得 性 改进 是 在 硬件 上 完成 的 ， 有 些 是 在 操作 系统 上 完成 的 。 硬 件 易 获得 性 
改进 的 一 个 例子 是 在 F 和 J 键 上 加 了 一 个 小 凸 起 。 这 种 小 凸 起 有 助 于 有 视力 障碍 的 用 户 通过 触 
觉 调整 融 键 的 手指 。 键 盘 上 的 键 有 不 同 大 小 ， 以 及 提供 快捷 键 ， 都 是 通过 硬件 改进 易 获 得 性 
的 例子 。 

类 似 地 ， 操 作 系统 提供 商 也 在 键盘 上 做 了 一 些 改进 ， 包 括 使 用 粘贴 键 、 开 关键 和 箭头 键 
操作 鼠标 。 

粘贴 键 为 了 说 明 粘 贴 键 概念 ， 以 <CTRL><ALT><DEL> 为 例 。 对 视力 和 移动 有 障碍 的 用 
户 来 说 ， 最 困难 的 序列 之 一 就 是 <CTRL><ALT><DEL>。 这 种 键盘 序列 有 很 多 用 途 ， 例 如 登 
录 、 退 出 ， 加 锁 和 开锁 计算 机 ， 关 机 ， 调 出 任务 管理 器 。 有 时 对 于 没有 障碍 的 用 户 来 说 ， 键 
序列 也 是 很 复杂 的 ， 因 为 它 要 求 先 按 住 两 个 键 再 按 下 第 三 个 键 。 这 种 特定 序列 要 求 两 只 手 上 
的 三 个 指头 必须 协调 。 操 作 系统 中 的 粘贴 键 设置 消除 了 对 按 下 键 的 要 求 。 如 果 启 用 了 粘贴 键 
特性 ， 用 户 可 按 下 <CTRL> 和 <ALT> 键 一 次 ， 再 释放 ， 然 后 再 按 <DEL> 键 。 这 就 可 以 用 一 个 
手指 完成 该 序列 操作 。 

过 滤 键 当 键 被 按 下 并 持续 一 定时 间 后 ， 就 认为 是 重复 键入 。 有 时， 这 对 残疾 用 户 是 个 挑 
战 。 有 些 残 疾 人 不 能 像 正 常人 一 样 快速 按 下 和 释放 按键 。 过 滤 键 可 以 完全 停止 重复 或 降低 重 
复 速度 。 

开关 键 声 响 启用 了 开关 键 后 ， 键 入 的 信息 可 能 与 用 户 想 要 的 不 同 。 例 如 ， 在 典型 的 字 处 
理 软件 包 中 ，<INS> 键 是 一 个 开关 。 如 果 <INS> 键 的 正常 设置 是 插入 字符 ， 那 么 当 键 被 按 下 一 
次 然后 释放 ， 就 会 进入 “替换 ”模式 ， 这 时 所 键入 的 字符 替代 已 有 的 字符 。 有 视力 障碍 的 用 
户 很 难看 清 这 些 开 关键 的 状态 。 为 了 解决 这 个 问题 ， 可 以 启用 声响 ， 启 用 和 关闭 开关 键 时 会 
发 出 不 同 的 音调 。 

声响 键 为 了 帮助 视力 有 障碍 的 用 户 ， 还 有 一 种 机 制 在 用 户 敲 击 键盘 时 会 读 出 所 键入 的 字 
符 。 在 有 些 操作 系统 中 ， 这 种 特性 作为 朗读 器 实用 程序 (后 面 还 要 讨论 ) 的 一 部 分 ， 但 是 很 
多 易 获 得 性 工具 都 有 这 种 特性 。 

用 于 控制 鼠标 的 箭头 键 移动 有 障碍 的 用 户 很 难 移动 鼠标 。 通 过 启用 这 种 特性 ， 这 类 用 户 
就 能 够 使 用 键盘 上 的 箭头 键 移动 鼠标 。 鼠 标 上 的 两 个 按钮 及 其 操作 也 可 以 通过 键盘 完成 。 

朗读 器 朗读 器 是 一 种 实用 程序 ， 提 供 声 音 反馈 。 例 如 , - 当 用 户 执行 事件 时 朗读 器 会 朗读 
出 来 ， 读 出 所 键入 的 字符 、 用 不 同 的 声音 提示 系统 事件 等 。 由 于 所 提供 的 声音 对 应 键盘 和 系 
统 事件 ， 因 此 这 个 特性 被 认为 是 对 易 获 得 性 很 重要 的 实用 程序 ， 可 以 提高 产品 的 易 获 得 性 。 

屏幕 易 获 得 性 

很 多 键盘 易 获 得 性 特性 帮助 了 有 视力 障碍 和 移动 障碍 的 用 户 。 这 些 特 性 对 有 听力 障碍 的 
用 户 没有 帮助 ， 他 们 需要 屏幕 上 的 额外 视觉 反馈 。 下 面 这 些 易 获得 性 的 特性 使 用 屏幕 提高 了 
可 使 用 性 。 
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可 视 声响 可 视 声响 是 声音 的 “声波 形式 ”或 “图 形 形 式 ”。 这 些 可 视 效 果 通 过 屏幕 告诉 用 
户 系统 发 生 的 事件 。 

针对 多 媒体 的 字幕 特性 所 有 多 媒体 语音 和 声音 都 可 以 用 文字 描述 ， 在 播放 语音 和 声音 的 
同时 ， 在 屏幕 上 显示 文字 。 

软 键盘 有 些 有 移动 障碍 和 视力 障碍 的 用 户 认 为 使 用 点 击 设备 比 键盘 更 容易 一 些 。 软 键盘 
通过 在 屏幕 上 显示 键盘 来 帮助 这 样 的 用 户 。 可 以 通过 点 击 设备 ， 例 如 用 鼠标 点 击 屏幕 上 的 刍 
盘 画 面 键入 字符 。 

采用 高 对 比 度 的 易 读 特性 有 视力 障碍 的 用 户 在 识别 菜单 项 中 的 一 些 色彩 和 字号 上 存在 困 
难 。 操 作 系 统一 般 会 提供 一 个 开关 选项 ， 切 换 到 高 对 比 度 模式 。 这 种 模式 在 屏幕 上 的 所 有 菜 
单 使 用 舒适 的 色彩 和 字号 。 

其 他 易 获 得 性 特性 

操作 系统 层 还 提供 了 很 多 其 他 易 获 得 性 特性 ， 有 视力 或 移动 障碍 的 用 户 可 能 认为 键盘 和 
鼠标 都 很 难 使 用 。 在 这 种 情况 下 ， 应 该 提供 使 用 其 他 设备 的 选项 。 例 如 ， 操 纵 杆 可 以 用 作 点 
击 设备 的 替换 设备 ， 这 种 点 击 设备 可 以 结合 软 键盘 使 用 ， 以 满足 用 户 的 要 求 。 

以 上 介绍 的 一 些 特性 试图 满足 有 多 种 障碍 的 用 户 需求 。 例 如 ， 粘 贴 键 在 消除 按 住 键 要求 
的 同时 ， 还 在 屏幕 上 的 计算 机 工具 条 上 显示 所 有 粘贴 键 的 状态 。 


12.7.2 产品 易 获 得 性 


在 为 产品 提供 易 获 得 性 时 ， 需 要 很 好 理解 基本 的 易 获 得 性 特性 ， 产 品 应 该 尽 可 能 实现 这 
些 基本 易 获得 性 特性 。 例 如 ， 提 供 多 媒体 文件 对 应 的 详细 文本 可 保证 et 
i 音频 、 视 频 和 图 片 影像 

对 基本 易 获得 性 特性 和 具有 特殊 需要 的 不 同类 型 用 户 需求 的 很 好 。 提供 放 应 的 文 叶 字 革 
理解 ， 有 助 于 编写 一 些 关于 产品 用 户 界面 设计 方面 的 指南 。 在 为 产品 
提供 易 获得 性 的 整个 过 程 中 ， 应 牢记 这 些 不 同类 别 用 户 的 不 同 需 求 ， 以 及 他 们 的 能 力 和 面临 
的 挑战 。 

在 各 种 网 站 上 有 很 多 关于 易 获得 性 标准 和 需求 的 信息 ， 可 以 用 于 收集 易 获得 性 需求 。 可 
以 参考 易 获得 性 标准 ， 例 如 508 和 W3C， 获 得 较 完 整 的 需求 。 本 节 通 过 几 个 需求 为 读者 建立 背 
景 环境 ， 并 解释 其 概念 。 

这 种 需求 说 明 提供 图 像 影像 对 应 文字 、 为 音频 部 分 提供 字幕 是 很 重要 的 。 在 播放 音频 文 
件 时 ， 提 供 字幕 可 为 有 听力 障碍 的 用 户 提高 易 获得 性 。 增 加 音频 片段 可 为 不 能 理解 视频 和 图 
片 的 有 视力 障碍 的 用 户 提高 易 获 得 性 。 在 尽力 满足 这 类 需求 时 ， 要 了 解 已 有 的 易 获得 性 工具 。 
例如 ， 不 了 解 易 获得 性 工具 的 人 可 能 ， 认 为 提供 视频 对 应 的 字幕 没有 多 大 意义 ， 因 为 有 视力 
障碍 的 用 户 既 看 不 到 视频 也 看 不 到 字幕 。 但 是 ， 如 果 用 户 使 用 像 朗读 器 这 样 的 工具 ， 相 关 的 
文字 就 可 以 读 出 来 ， 产 生 语 音 ， 从 而 使 有 视力 障碍 的 用 户 受益 。 图 
12-3 是 从 网 站 上 截取 的 带 有 对 应 文字 的 图 片 样本 。 

在 上 面 的 例子 中 ， 即 使 有 视力 障碍 的 用 户 不 能 看 到 图 片 ， 左 侧 给 
出 的 相关 图 片 标签 也 会 对 使 用 朗读 器 的 用 户 有 帮助 。 

因此 音频 对 应 的 文字 (字幕 )、 图 片 和 直观 表示 的 音频 描述 ， 对 
于 提高 易 获得 性 是 很 重要 的 。 








需求 举例 2: 文档 和 
字段 的 组 织 要 使 得 不 需 
要 特定 的 屏幕 分 辨 率 和 
模板 (叫做 风格 单 ) 也 
能 阅读 。 
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WASHINGTON (CNN) - The man 
arrested in Pakistan with 
documents tat sparked this 
week's increased threat levels 
is computer axpert who 
.helped Osama bin Laden 
commuricate with his terror 

: neatwork, U.S. governiment 
SouUrces told CNN. 





, 








图 12-3 带 有 对 应 文字 的 图 片 


视力 低 的 用 户 在 使 用 产品 时 希望 看 到 超大 号 字体 。 因 此 ， 期 望 用 特定 的 分 辨 率 和 字号 在 
屏幕 上 显示 所 有 字段 的 产品 会 面临 易 获 得 性 问题 。 字 段 和 文本 之 间 应 该 有 足够 的 空白 ， 使 得 
增 大 字体 时 出 现在 屏幕 上 的 消息 不 会 聚 在 一 起 。 
通常 Web 页 面 上 的 信息 采用 叫做 风格 单 的 模板 显示 在 屏幕 上 。 有 两 种 类 型 的 风格 单 : 内 
部 风格 单 和 外 部 风格 单 。 内 部 风格 单 是 硬 编码 的 形式 ， 指 示 字 段 、 尺 寸 及 其 在 屏幕 上 的 位 置 。 
当 用 户 希望 调整 窗口 和 字号 大 小 时 ， 这 会 带 来 问题 。 最 安全 的 办 法 是 使 用 外 部 风格 单 ， 产 品 
的 程序 不 应 该 影响 用 户 定义 的 外 部 风格 单 。 
不 仅 是 视力 低 的 用 户 ， 视 力 很 好 但 是 有 色盲 症 的 用 户 可 能 在 识别 各 种 色彩 及 其 组 合 上 也 
需求 染 例 3， 所 设计 会 出 现 问题 。 因 此 ， 使 用 彩色 文本 、 彩 色 图 片 和 彩色 屏幕 的 产品 不 应 
过 义 、 证 、 一 … 
的 用 户 界 面 应 该 使 采用 该 把 色彩 作为 区 分 用 户 界 面 要 素 的 唯一 方法 。 例 如 ， 在 如 图 12-4 所 示 
色彩 传递 的 全 部 信息 不 的 图 片 中 ， 色 彩 ( 绿 和 红 ) 用 作 区 分 不 同 操作 按钮 的 方法 。 但 是 ， 色 
利用 色彩 也 能 获得 盲 用 户 可 能 难以 选择 正确 的 操作 按钮 。 正 确 的 方法 应 该 是 保留 色彩 并 











恰当 地 为 按钮 命名 。 在 下 面 的 例子 中 ， 把 绿 按钮 命名 为 “继续 ”， 把 
红 按 钮 命名 为 “停止 ”就 会 提高 易 获 得 性 。 





按 绿色 按钮 启动 程序 ， 按 红色 按钮 停止 正在 运行 的 程序 





绿 红 








图 12-4 把 色彩 作为 区 分 方法 


不 同 的 人 阅读 速度 是 不 同 的。 阅读 速度 慢 的 人 会 对 一 办 而 过 的 文字 感到 不 满 ， 因 为 这 会 
进一步 影响 其 阅读 速度 。 即 使 视力 很 好 的 用 户 也 会 觉得 移动 太 快 的 文字 不 太 和 舒服。 一 些 易 获 
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得 性 标准 规定 ， 文 字 闪 烁 的 频率 应 该 在 2Hz 和 55Hz 之 间 。 

有 些 有 移动 障碍 的 用 户 和 有 神经 方面 问题 的 用 户 移动 眼球 的 速度 没有 其 他 人 快 ， 还 有 其 
他 一 些 健 康 问题 使 人 不 能 像 其 他 人 一 样 快 地 阅读 。 移 动 和 滚动 文本 时 ， 文 本 移动 的 速度 应 该 
与 最 低 的 产品 用 户 的 阅读 能 力 相 适应 ， 否 则 产品 应 该 有 调整 文本 移动 速度 的 特性 。 

在 设计 用 户 界面 时 ， 应 特别 注意 保证 降低 对 使 用 产品 所 要 求 的 身体 移动 ， 以 帮助 有 移动 
障碍 的 用 户 。 应 该 避免 将 界面 元 素 散 布 到 屏幕 的 角落 ， 因 为 这 要 求 用 浊 求 基体 人 低估 福 
户 把 点 击 设备 移动 到 屏幕 角落 ， 比 较 费 力 。 图 12-5 是 一 个 把 四 个 字段 间 疝 到 过、 加 是 语 击 
散布 到 屏幕 角落 的 例子 。 如 果 屏 幕 中 有 充足 的 空白 ， 那 么 同样 的 用 户 闪烁 文字 
界面 如 果 设 计 为 纵向 排列 会 更 好 。 











Name Ram Employee ID 30017 





Dept Quality assurance Location NY 5 
2 
图 12-5 把 四 个 字段 散布 到 角落 的 屏幕 


不 仅 单个 屏幕 ， 整 个 屏幕 集 在 设计 上 也 要 考虑 整体 考虑 最 少 移动 要 求 。 当 使 用 多 个 屏幕 
完成 一 组 操作 (比方 说 确认 多 个 屏幕 的 用 户 信 息 ) 时 ， 需 要 提供 相应 的 位 置 序列 响应 ， 例 如 
“继续 “确认 返 回 ”"、“ 退 出 ”按钮 在 不 同 屏幕 上 应 该 在 相同 的 位 置 上 ， 当 屏幕 改变 时 ， 点 击 
设备 不 必 再 移动 。 

用 户 界面 的 设计 要 尽 可 能 预期 用 户 使 用 较 少 的 设备 完成 常规 操作 。 例 如 在 图 12.5 中 ， 使 用 
键盘 是 最 基本 的 要 求 ， 如 果 可 以 使 用 <TAB> 键 在 字段 之 间 跳 转 ， 则 可 以 避免 使 用 点 击 设备 来 





人 有 举例 5 在 设计 
Le 用 户 界面 时 ， 应 降低 对 


如 果 要 求 快速 响应 ， 则 应 该 通知 用 户 并 用 足够 的 时 间 告 知 需要 更 用 户 的 身体 移动 要 求 ， 
多 的 时 间 。 有 些 用 户 需要 更 长 的 考虑 和 响应 时 间 ， 因 为 可 能 有 某 些 障 。 并 为 用 户 响 应 留 出 足 刀 
碍 。 在 用 户 界面 上 显示 “如 果 信息 正确 ， 在 5 秒 内 点 击 OK 键 ”会 给 用 时间， 





户 带 来 压力 ， 应 该 避免 。 

以 上 给 出 的 样本 需求 都 是 提高 易 获得 性 的 例子 。 类 似 这 样 的 需求 还 有 很 多 ， 在 定义 易 获 
得 性 的 流行 标准 (例如 508 指 南 ) 中 ， 这 些 需求 一 般 按 提供 用 户 界面 所 采用 的 技术 〈 例 如 基于 
Web 的 界面 、 基 于 客户 机 的 界面 等 ) 分 类 。 针 对 界面 设计 所 使 用 的 技术 选择 合适 的 标准 会 长 
远 地 提 高 产品 的 易 获 得 性 。 


12.8 可 使 用 性 工具 
在 可 使 用 性 方面 没有 多 少 工 具 ， 因 为 评价 可 使 用 性 具有 很 高 的 主观 性 。 但 是 ， 有 不 少 易 
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获得 性 测试 工具 。 表 12-2 给 出 了 一 些 可 使 用 性 和 易 获 得 性 工具 。 前 儿 节 已 经 解释 了 其 中 的 一 
些 工 具 。 


表 12-2 ”可 使 用 性 和 易 获得 性 样本 工具 











工具 名 称 用 途 
JAWS 用 于 测试 产品 的 易 获得 性 ， 提 供 一 些 辅助 技术 
HTML 确 认 器 根据 可 使 用 性 和 易 获得 性 标准 确认 HTML 源 文件 
风格 单 确 认 器 根据 W3C 建 立 的 可 使 用 性 标准 确认 风格 单 (模板 ) 
放大 器 针对 有 视力 障碍 用 户 的 易 获 得 性 工具 (使 他 们 能 够 放大 显示 在 屏幕 上 的 内 容 ) 
朗读 器 朗读 显示 在 屏幕 上 的 信息 ， 并 针对 有 视力 障碍 的 用 户 创建 音频 描述 的 工具 
软 键盘 通过 在 屏幕 上 显示 键盘 模板 ， 使 用 户 能 够 采用 点 击 设备 使 用 键盘 


采用 黑白 监视 器 而 不 是 彩色 监视 器 进行 测试 ， 可 保证 使 用 合适 的 色彩 组 合 ， 也 可 保证 通 
过 色彩 表示 的 信息 没有 色彩 同样 也 能 表达 。 有 些 彩色 监视 器 有 以 灰 度 显示 信息 的 特性 。 有 些 
操作 系统 有 黑白 显示 的 设置 。 利 用 这 种 显示 设置 进行 测试 ， 可 保证 通过 色彩 表示 的 信息 没有 
色彩 同样 也 能 表达 。 

邀请 残疾 用 户 参 加 产品 评审 也 是 一 种 确认 产品 易 获 得 性 的 方法 。 


12.9 可 使 用 性 实验 室 的 建立 


前 面 已 经 讨论 过 ， 期 望 用 户 对 可 使 用 性 提出 意见 是 不 大 可 能 的 。 产 品 开发 人 员 常 常 忽视 
可 使 用 性 缺陷 。 当 用 户 面 对 类 似 的 缺陷 并 逐渐 习惯 后 ， 他 们 也 会 忽视 可 使 用 性 缺陷 。 因 此 ， 
单 任 用户 提 出 意见 不 会 使 产品 具有 可 使 用 性 。 观 察 用 户 的 “肢体 语言 ”可 以 指出 产品 的 可 使 
用 性 缺陷 ， 否 则 这 些 缺 陷 可 能 永远 也 不 会 被 指出 。 

不 仅 是 肢体 语言 ， 背 景 ， 即 用 户 受 阻 的 屏幕 和 使 用 户 感到 困惑 的 事件 等 ， 也 需要 与 用 户 
的 反馈 关联 起 来 ， 以 提取 缺陷 。 

以 上 这 些 足 以 成 为 建立 可 使 用 性 实验 室 的 充分 理由 ， 以 便 记录 、 观 察 有 关 可 使 用 性 的 所 
有 信息 ， 并 修改 缺陷 。 图 12-6 给 出 了 可 使 用 性 实验 室 的 一 些 关键 元 素 。 













































































图 12-6 可 使 用 性 实验 室 的 关键 元 素 
如 图 12-6 所 示 ， 可 使 用 性 实验 室 有 两 个 部 分 ， 即 “记录 区 ”和 “观察 区 ”。 用 户 被 请 到 实 
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验 室 来 ， 在 记录 区 执行 一 组 预先 确定 的 操作 。 预 先 向 用 户 解释 产品 的 使 用 方法 ， 并 提供 文档 。 
用 户 开始 准备 执行 任务 。 在 记录 整个 操作 序列 过 程 中 ， 可 使 用 性 专家 观察 整个 过 程 。 

在 观察 区 ， 一些 可 使 用 性 专家 坐 着 观察 用 户 的 肢体 语言 ， 并 将 缺陷 与 引起 问题 的 屏幕 和 
事件 关联 。 观 察 通过 “ 单 向 玻璃 ”进行 ， 专 家 可 以 看 到 用 户 但 是 用 户 看 不 到 专家 。 这 有 助 于 
避免 专家 的 身体 移动 对 用 户 产 生 干扰 ， 使 用 户 处 于 自然 状态 。 摄 像 机 可 以 从 不 同 角度 捕获 用 
户 和 计算 机 监视 器 的 实时 图 像 。 观 察 了 使 用 产品 的 不 同 用 户 后 ， 可 使 用 性 专家 提出 对 产品 的 
改进 建议 。 

被 记录 的 可 使 用 性 测试 可 以 在 事后 进行 进一步 观察 ,还 可 以 针对 可 使 用 性 缺陷 修改 得 到 
更 多 的 信息 (如果 有 必要 )。 

因此 ， 建 立 独立 的 可 使 用 性 实验 室 可 以 作为 确定 更 多 可 使 用 性 缺陷 ， 并 修改 这 些 缺 陷 的 
三 种 开具。 


12.10 可 使 用 性 的 测试 角色 


可 使 用 性 测试 在 一 些 公司 中 不 像 其 他 类 型 的 测试 那样 正式 ， 不 采用 预先 写 好 的 测试 用 例 
或 检查 单 。 这 些 公司 在 进行 可 使 用 性 测试 时 使 用 了 以 下 不 同方 法 : 

1. 把 可 使 用 性 测试 作为 一 个 独立 的 测试 周期 实施 。 

2. 聘请 外 面 的 顾问 (了解 人 类 工程 学 和 特殊 易 获得 性 需求 的 专家 ) 进行 可 使 用 性 确认 。 

3. 建立 独立 的 可 使 用 性 小 组 ， 使 所 有 产品 开发 困 队 的 可 使 用 性 实践 制度 化 ， 建 立 公司 级 
可 使 用 性 标准 。 

不 管 什么 时 候 和 怎样 进行 可 使 用 性 测试 ， 都 有 一 些 技能 对 于 执行 完善 的 可 使 用 性 测试 是 
非常 重要 的 。 表 12-3 归 纳 了 可 使 用 性 测试 的 不 同 角色 的 技能 和 预期 。 

表 12-3 可 使 用 性 测试 的 角色 和 责任 
角 色 责 任 


可 使 用 性 架构 师 /顾问 ”|。 在 公司 范围 内 制度 化 和 改进 可 使 用 性 
。 培 训 、 推 动 和 获得 可 使 用 性 所 需 的 管理 层 承诺 ， 作 为 公司 的 启动 活动 
。 帮助 解决 整个 公司 在 可 使 用 性 实现 测试 过 程 中 出 现 的 矛盾 
。 在 客户 和 公司 之 间 建 立 沟通 渠道 ， 以 获得 可 使 用 性 问题 的 反馈 意见 
可 使 用 性 专家 。 提供 执行 可 使 用 性 测试 所 需 的 技术 指导 
。 确定 产品 可 使 用 性 测试 的 策略 
。 对 执行 可 使 用 性 测试 的 所 有 人 员 提 供 技术 指导 
。 建立 可 使 用 性 标准 ， 并 认证 产品 团队 
人 员 因 素 专 家 。 针 对 可 使 用 性 评审 屏幕 和 其 他 产品 
。 保 证 多 个 产品 之 间 的 一 致 性 
。 对 改进 用 户 产 品 的 使 用 体验 提出 建议 
。 从 产品 的 一 致 性 、 易 用 性 和 使 用 效率 方面 提出 意见 
图 形 设 计 者 。 创建 用 户 界面 所 需 的 图 标 、 图 形 图 像 等 
。 交叉 检查 图 标 和 图 形 信息 与 其 所 使 用 的 背景 ， 检 验 这 些 图 像 是 否 传递 了 正确 含义 
可 使 用 性 管理 者 /领导 |。 评估、 策划 和 跟踪 所 有 可 使 用 性 测试 活动 
。 与 可 使 用 性 专家 密切 协作 ， 确 定 可 使 用 性 策略 ， 并 在 项 目 中 落实 
。 与 客户 协作 ， 在 发 布 之 前 获得 对 产品 的 当前 版 本 的 反馈 意见 
可 使 用 性 测试 工程 师 ”|。 根据 脚本 、 场 景 和 测试 用 例 执行 可 使 用 性 测试 
。 如 果 可 能 ， 不 仅 要 从 执行 可 使 用 性 测试 角度 ， 还 要 从 用 户 角度 提出 反馈 意见 
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12.11 小 结 


软件 界 已 经 逐渐 认识 到 可 使 用 性 测试 的 重要 性 。 不 久 ， 可 使 用 性 测试 就 会 成 为 一 种 工程 
学 科 、 一 种 生存 周期 活动 和 一 种 职业 。 

但 是 ， 可 使 用 性 测试 不 是 没有 挑战 。 往 往 只 是 在 可 使 用 性 测试 结束 前 ， 为 了 走 过 程 才 将 
可 使 用 性 测试 工程 师 和 顾问 请 来 ， 这 很 难 真正 提高 产品 的 可 使 用 性 。 即 使 完成 了 可 使 用 性 测 
试 ， 也 是 由 在 可 使 用 性 方面 没有 足够 技能 和 接受 过 培训 的 工程 师 完成 的 。 可 使 用 性 是 正在 发 
展 的 领域 ， 培 训 对 于 帮助 员工 掌握 最 新 技术 是 非常 重要 的 。 

有 些 公司 从 项 目 生存 周期 的 开始 就 策划 可 使 用 性 测试 ， 并 一 直 跟踪 到 结束 。 但 是 ， 在 对 
工程 师 进行 标准 、 工 具 、 实 验 室 建立 等 方面 的 培训 上 投入 不 足 。 只 有 当 足 够 地 关注 这 些 方面 ， 
当 在 可 使 用 性 专题 人 员 培训 加 强 投入 并 落实 到 项 目 上 ， 才 能 真正 提高 产品 的 可 使 用 性 。 

可 使 用 性 不 能 只 靠 测 试 获得 。 可 使 用 性 更 多 地 体现 在 设计 上 ， 体 现在 对 产品 作出 贡献 的 
人 们 的 头脑 中 。 可 使 用 性 是 关于 用 户 的 产品 体验 。 在 项 目 开发 时 始终 从 用 户 的 角度 进行 思考 ， 
将 长 期 保证 可 使 用 性 。 


问题 与 练习 


1. 确认 可 使 用 性 设计 可 以 有 哪些 不 同方 法 ? 

2. 对 有 不 同 障碍 的 用 户 进行 分 类 ， 并 总 结 易 获 得 性 测试 和 工具 怎样 帮助 他 们 使 用 产品 。 

3. 什么 是 美观 测试 ?为 什么 把 美观 测试 纳入 可 使 用 性 测试 检查 单 很 重要 ? 

4. 请 解释 可 使 用 性 和 易 获 得 性 可 用 的 不 同 工 具 。 这 些 工具 对 测试 可 使 用 性 有 什么 作用 ? 

5. 建立 可 使 用 性 测试 实验 室 的 关键 目标 是 什么 ? 可 使 用 性 测试 实验 室 与 其 他 传统 测试 实验 室 
有 什么 差别 ? 

6. 请 解释 测试 专业 人 员 在 可 使 用 性 测试 中 可 以 充当 的 不 同 角色 。 

7. 请 解释 V 字 模型 ， 并 解释 可 使 用 性 测试 的 不 同 活动 可 以 怎样 映射 到 V 字 模型 中 。 





这 部 分 将 讨论 在 测试 中 经 常 被 忽略 的 两 个 问题 ， 实 践 证 明 这 两 个 问题 是 开展 测试 项 目的 
最 大 挑战 。 第 13 章 首先 讨论 测试 团队 所 面临 的 常见 的 人 员 问 题 。 先 列 出 对 测试 的 一 些 道 听 途 
说 的 错误 认识 ， 然 后 对 其 进行 分 析 。 然 后 讨论 人 们 在 测试 职业 上 的 发 展 途径 ， 讨 论 需要 怎样 
做 才能 在 这 个 生态 系统 中 达到 自己 的 目标 。 第 14 章 将 介绍 如 何 组 织 测 试 困 队 并 对 团队 成 员 分 
配 工作 ， 以 提供 更 好 的 可 审计 性 和 有 效 性 。 这 一 章 还 将 专门 讨论 全 球 化 对 团队 结构 和 工作 场 
所 的 影响 。 


第 13 章 常见 人 员 问 题 


13.1 关于 测试 的 感觉 和 错误 概念 


本 节 将 讨论 一 些 关 于 测试 专业 的 常见 的 “道听途说 ” 式 说 法 。 这 些 说 法 有 的 来 自 测试 人 
员 ， 有 的 来 自 管 理 层 ， 有 的 来 自学 术 界 。 本 节 将 研究 这 些 说 法 的 出 处 ,说 法 的 座 误 所 在 和 反 
驶 这 些 说 法 的 论据 。 重 要 的 是 在 建立 成 功 的 有 激情 的 测试 团队 之 前 ， 首 先 要 澄清 这 些 错误 概 
念 和 认识 。 


13.1.1 “测试 没有 什么 技术 挑战 ” 


如 果 进 行 招 聘 测试 人 员 的 面谈 ， 通 常会 观察 到 应 聘 人 员 非 常 两 极 化 的 反应 。 第 一 类 人 通 
常 占 少数 ， 他 们 非常 自豪 、 投 入 和 愉快 地 成 为 测试 人 员 。 很 不 幸 ， 第 二 类 人 占 多 数 ， 他 们 认 
为 干 测试 是 “因为 别 无 选择 ”。 他 们 常常 认为 测试 没有 什么 技术 挑战 。 出 现 这 种 认识 有 多 种 论 
据 ， 其 中 之 一 是 ,“ 如 果 我 做 开发 ， 可 以 得 到 给 定 程序 设计 语言 的 专业 知识 ， 这 是 很 有 价值 的 。 
而 另 一 方面 ， 测 试 只 不 过 是 例行公事 和 重复 性 的 工作 ， 并 不 需要 什么 特殊 技能 。” 

这 种 论点 在 二 十 年 前 也 许 是 对 的 ， 那 时 大 部 分 测试 工作 是 靠 手工 完成 的 ， 产 品 也 比较 简 
单 。 而 今天 的 情况 就 不 一 样 了 ， 测 试 流 与 开发 工作 有 很 大 的 并 行 性 ， 如 表 13-1 所 示 。( 下 一 市 
将 介绍 测试 和 开发 工作 之 间 的 差别 ， 这 些 差别 是 产生 这 些 认识 和 错误 概念 的 根源 。) 


表 13-1 测试 与 开发 工作 的 相似 性 











开发 项 目的 功能 


需求 描述 


测试 项 目的 对 应 功能 相 似 性 


测试 描述 都 要 求 对 领域 有 透彻 理解 ， 有 时 测试 功能 要 求 从 用 户 视 点 对 
整个 系统 有 甚至 更 完整 的 理解 
测试 设计 测试 设计 在 构造 测试 系统 时 具有 产品 设计 的 所 有 属性 ， 要 考 
| 

包括 使 用 测试 用 例 开 发 和 测试 用 例 自 动 化 工具 














测试 脚本 开发 








测试 使 测试 可 操作 | 。 这 需要 开发 和 测试 田 队 之 间 的 密切 合作 ， 以 保证 获得 正确 的 
测试 结果 
维护 测试 用 例 维护 | 随 关 维护 变更 ， 保 持 测 试用 例 的 正确 性 回归 测试 、 功 能 测 





试 等 ) 


需要 对 整个 产品 而 不 是 单个 模块 有 完整 的 理解 开发 工程 师 一 般 倾向 于 关注 具体 的 模块 。 
他 们 有 可 能 在 一 定 程度 上 忘记 其 他 模块 的 功能 。 而 测试 工程 师 一 般 需要 对 产品 有 更 完整 的 理 
解 ， 而 不 是 局 限于 对 单个 模块 或 组 件 的 理解 。 这 要 求 测试 工程 师 成 为 领域 专家 。 

需要 全 面 理解 多 个 领域 随 着 产品 变 得 更 复杂 、 更 开放 和 无 缝 地 相互 集成 ， 测 试 需要 深入 
理解 多 个 产品 的 领域 。 就 像 开 发 一 个 产品 一 样 ， 测 试 也 需要 对 应 用 领域 的 细微 差别 有 深入 的 
理解 。 事 实 上 ,扩展 上 一 段 给 出 的 论据 ， 大 多 数 开发 都 是 在 封闭 的 环境 下 完成 的 ， 而 测试 则 
要 求 更 深入 地 理解 多 个 领域 之 间 的 交互 和 相互 依赖 关系 ， 以 便 模拟 真实 场景 。 因 此 ， 测 试看 
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来 甚至 更 适合 具有 产品 领域 专门 知识 的 人 ， 更 具有 挑战 性 。 

语言 专门 知识 大 多 数 开发 人 员 都 坚持 认为 要 在 某 些 具体 的 程序 设计 语言 或 平台 获得 职业 
专门 知识 。 在 20 世 纪 90 年 代 初 ， 大 多 数 人 都 想 成 为 C 语 言 专家 ， 后 来 是 CHt+， 再 后 来 是 Java。 
类 似 地 ， 对 于 平台 ， 流 行 平台 从 大 型 主机 转移 到 客户 一 服务 器 计算 环境 ， 再 转移 到 以 网 络 为 
核心 的 计算 环境 。 直 到 大 约 十 年 前 ， 从 事 测 试 的 人 们 对 于 这 类 “可 丰富 简历 ”的 语言 技能 还 
只 有 很 少 的 并 行 性 。 大 多 数 测试 要 么 是 手工 完成 的 ， 要么 是 用 自己 开发 的 工具 完成 的 。 在 过 
去 儿 年 中 ， 随 着 专门 的 测试 语言 和 工具 的 出 现 ， 已 经 缩小 了 测试 方面 在 语言 专门 知识 上 的 差 
距 。 今 天,“ 测试 不 需要 任何 程序 设计 ”的 论据 再 也 站 不 住 脚 了 。 事 实 上 ， 大 多 数 测 试 工具 的 
使 用 都 要 求 程序 设计 语言 知识 ， 与 开发 人 员 使 用 的 语言 非常 相似 。 

使 用 工具 从 事 软 件 生存 周期 中 其 他 活动 的 人 能 够 使 用 各 种 工具 ， 例 如 CASE 工 具 、 调 试 
姻 、 集 成 开发 环境 等 。 工 具 增 加 了 他 们 工作 的 “魔力 ”， 使 用 起 来 很 “ 酷 "。 测 试 人 员 使 用 工 
具 的 机 会 很 少 。 在 过 去 的 几 年 中 这 方面 同样 发 生 了 很 大 变化 ,市场 上 已 经 有 了 标准 的 测试 工 
有 具 ， 不 仅 支持 类 似 程序 设计 语言 的 测试 语言 ， 还 提供 机 会 更 好 地 设计 和 与 被 测 产品 程序 代码 
的 集成 。 由 于 工具 很 复杂 ， 实 践 证 明 ， 有 时 候 测 试用 例 自动 化 甚至 比 开发 产品 的 代码 更 具 挑 
战 性 ! 

概念 化 和 开放 思维 的 机 会 由 于 测试 被 看 作 是 “破坏 性 ”工作 ， 有 人 认为 开发 工作 有 上 比 测 
试 工作 更 多 的 概念 化 机 会 。 前 面 介绍 过 ， 测 试 过 程 与 开发 过 程 有 很 强 的 并 行 性 。 即 使 测试 被 
认为 是 破坏 性 的 〈 从 发 现 产品 中 的 缺陷 这 一 点 上 说 ) ， 这 些 相似 性 足以 说 明 测 试 工作 也 有 大 量 
的 概念 化 和 开放 思维 的 机 会 。 遗 憾 的 是 ， 人 们 在 寻求 测试 工作 时 常常 完全 忽视 了 这 种 相似 性 。 

今天 在 测试 中 有 大 量 的 投入 一 一 有 了 时 甚至 超过 开发 例如 ， 测 试 工具 是 非常 昂贵 的 ， 显 然 
公司 已 经 肯定 对 这 些 昂 贵 工具 的 投入 会 有 足够 的 回报 。 因 此 ， 公 司 完 全 有 可 能 把 最 好 的 员工 
投入 到 测试 部 门 去 。 

今天 的 内 部 测试 工具 将 可 能 是 明天 的 一 种 非常 昂贵 的 测试 自动 化 工具 ! 在 很 多 公司 中 ， 
最 初 是 在 小 组 里 使 用 的 内 部 工具 最 终 发 展 为 可 调整 规模 的 产品 ， 派 生产 品 和 应 用 在 多 个 小 组 
中 使 用 ， 甚 至 发 展 成 赚钱 的 测试 自动 化 产品 。 从 技术 挑战 方面 看 ， 这 也 许 增 加 了 测试 工作 更 
宽 视 野 的 需要 。 

从 以 上 观点 看 ， 测 试 提 供 了 足够 的 技术 挑战 ， 对 测试 感 兴趣 的 专业 人 员 能 够 持续 学 习 和 
提高 自己 的 知识 水 平 ， 在 提高 产品 质量 的 同时 ， 也 达到 更 高 的 个 人 满意 度 。 

用 一 句 话 作为 对 比 开发 与 测试 的 总 结 :“ 所 有 的 开发 中 都 有 测试 ， 所 有 的 测试 中 都 有 开 
发 5 


13.1.2 “测试 没有 为 我 提供 职业 成 长 道路 ” 


有 些 公司 为 进行 开发 和 其 他 软件 工程 工作 的 员工 定义 了 职业 发 展 道路 ， 但 是 测试 工作 的 
职业 发 展 道路 却 不 清晰 。 事 实 上 ， 连 他 们 的 工作 职务 给 的 也 是 “开发 工程 师 ”、“ 高 级 开发 工 
人 测试 不 是 下 魔 ， 开 发 
计 人 员 、 业 务 分 析 员 和 领域 专家 ， 还 可 以 成 为 受 人 尊重 的 “架构 设计 也 不 是 天 使 ， 围 绕 测试 和 
师 ” 。 测 试 公司 并 不 总 能 提供 这 种 明确 的 职业 发 展 机 会 。 这 并 不 意味 开发 的 机 会 是 均等 的 。 
着 对 于 测试 专业 就 没有 职业 发 展 道 路 。 由 于 我 们 深信 对 于 测试 专业 也 《一 
有 同样 有 利 的 职业 发 展 道路 ， 下 一 节 还 要 讨论 测试 专业 职业 发 展 道路 的 选择 问题 。 
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13.1.3 “我 被 派 来 测试 一 一 我 到 底 怎 么 了 ?1 ” 


一 站 亲 一 不 人 示 过 个 由 于 测试 是 最 靠近 向 客户 发 布 产品 的 一 项 活动 ， 有 理由 认为 公司 
做 开发 ， 那 么 由 于 同样 ”会 把 一 些 最 好 的 人 员 部 署 在 测试 部 门 中 ， 测 试 部 门 应 该 与 其 他 部 门 一 
或 类似 的 理由 ， 他 也 同样 看 待 。 但 是 ， 与 其 他 部 门 有 关 的 (错误 ) “迹象 ” 有 时 会 向 测试 团 
Po 队 传递 出 并 不 清晰 的 信息 。 有 时 人 们 会 感到 他 们 做 测试 是 因为 他 们 不 
一 一 一 一 一 一 一 一 适合 干 别 的 ! 这 种 信息 的 原因 和 作用 有 
1. 不 能 把 测试 部 门 作为 二 线 部 门 看 待 。 如 果 聘 用 和 分 配 政策 是 所 有 “顶级 ”人 物 (或 来 
自 顶级 学 校 的 应 聘 者 ) 都 去 开发 部 门 ,，“ 剩 下 ”的 人 去 测试 部 门 ， 那 么 管理 层 就 是 在 传递 错误 
的 信号 ， 强 化 那 条 错误 信息 。 
2. 员工 只 有 对 测试 所 需 的 合适 素质 和 态度 才能 分 配 到 测试 部 门 。 他 们 应 该 看 到 测试 的 职 
业 发 展 道路 ， 就 像 开 发 人 员 寻 找 开发 的 职业 发 展 道路 一 样 。 
3. 补偿 模式 不 应 与 其 他 部 门 ， 特 别 是 测试 部 门 有 差别 。 如 果 补 偿 和 奖励 机 制 有 利于 开发 
部 门 ， 员 工 肯定 会 把 测试 看 作 是 “ 升 到 开发 部 门 ”的 一 种 手段 ， 而 不 是 把 测试 本 身 看 作 职 业 。 
4. 参与 测试 、 维 护 和 文档 活动 的 工程 师 应 该 受到 恰当 的 表扬 。 表 扬 应 该 不 仅 是 奖金 方面 
的 奖励 或 补偿 ， 而 是 一 种 承认 。 例 如 ， 如 果 产品 完成 并 取得 成 功 ， 我 们 有 多 少 次 能 看 到 “ 测 
试 设计 师 ” 站 在 舞台 的 中 央 而 不 是 开发 部 经 理 ? 这 些 默默 无 闻 的 工作 部 门 有 时 被 认为 干 的 是 
“得 不 到 感谢 的 工作 ”， 因 此 人 们 希望 离开 这 样 的 部 门 。 
事实 是 ， 由 于 有 与 测试 部 门 性 质 有 关 的 认识 上 的 包 被 ， 一 些 明显 的 常识 被 忽略 掉 了 。 这 
会 前 弱 公 司 内 的 测试 团队 工作 ， 最 终 影响 产品 的 质量 。 


13.1.4 “这 些 人 是 我 的 对 手 ” 


ee 由 于 测试 的 主要 功能 是 发 现 产品 中 的 缺陷 ， 因 此 在 测试 团队 和 开 
测试 和 开发 团队 应 该 ”发 团队 之 闻 容 易 产生 对 立 情绪 。 开 发 团队 开始 认为 测试 团队 在 对 产品 
相互 支持 ， 而 不 是 争 沙 。 歇 毛 求 症 ， 而 测试 团队 开始 认为 开发 团队 没有 成 熟 就 交付 产品 。 


13.1.5 “测试 是 如 果 我 有 时 间 最 终 会 做 的 工作 ” 


尽管 不 同 的 测试 阶段 散布 在 项 目 生存 周期 中 ,测试 仍然 被 认为 是 一 种 “生存 周期 的 结束 ”。 
当 最 后 期 限 被 认为 是 不 能 倒 的 后 墙 时 ， 当 开发 人 员 认 为 “很 自然 ”地 要 比 计划 “略微 ” 拖 一 
点 进度 才能 交付 产品 时 ， 往 往 是 测试 团队 要 承担 最 后 期 限 的 压力 。 分 
配给 测试 的 时 间 被 压缩 ， 测 试 人 员 常常 不 得 不 放弃 周末 ， 加 班 工作 赶 
在 最 后 期 限 前 完成 ， 还 要 确保 产品 经 过 “充分 ”测试 。 毕 竟 当 客户 发 
现 问题 时 ， 第 一 个 要 问 的 问题 就 是 ,“ 为 什么 这 个 缺陷 没有 在 测试 中 
发 现 ? !“ 

在 高 度 紧张 的 状态 下 受到 双重 压力 ( 随 着 产品 生存 周期 越 来 越 短 ,这 种 压力 在 不 断 增加 )， 
面临 产品 缺陷 的 打击 ， 这 些 都 对 想 加 入 测试 部 门 的 人 的 士气 和 信念 产生 消极 的 影响 。 解 决 这 


测试 不 应 该 安排 在 
项 目的 最 后 ,而 应 该 贯 
穿 到 项 目 中 ， 甚 至 一 直 
持续 到 交付 之 后 。 


个 问题 的 方法 有 : 
1. 规定 测试 团队 从 开发 团队 接收 产品 的 完成 /确认 准则 。 例 如 ， 公 司 可 以 规定 产品 能 够 交 
付 测 试 的 最 低 条 件 。 


2. 赋予 测试 团队 有 强制 产品 在 交付 前 必须 达到 最 低 质 量 要 求 的 权力 。 例 如 ， 公 司 可 以 规 
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定 产 品 在 发 布 前 还 没有 解决 的 最 高 问题 数量 和 严重 等 级 。 
13.1.6 “测试 的 拥有 者 毫 无 意义 ” 


在 谈论 产品 开发 的 困 队 结构 时 ， 常 常会 提 到 像 “模块 负责 人 ”这 样 的 角色 。 这 些 人 常常 
是 开发 模块 的 拥有 者 。 即 使 是 在 维护 阶段 ， 模 块 级 或 组 件 级 也 有 拥有 本 有 二 人 
者 。 这 种 拥有 关系 会 产生 一 种 自豪 感 ， 可 推动 人 员 提 高 质量 。 i 

测试 部 门 有 时 没有 这 种 拥有 者 意识 。 一 个 可 能 的 原因 是 测试 部 门 测试 大足 也 症 访 衣 同 冬 
看 上 去 没有 “可 交付 产品 *"。 开 发 部 门生 产 代码 ， 开 发 人 员 觉 得 这 种 的 拥有 者 意识 
“看 得 见 摸 得 着 ”的 代码 是 他 们 的 创造 ， 产 生 一 种 拥有 感 。 而 测试 人 
员 会 感觉 自己 只 是 使 代码 更 好 一 些 一 一 或 更 差 ! 他 们 没有 把 自己 与 任何 具体 的 可 交付 产品 关 
联 起 来 。 毫 无 疑问 ,测试 人 员 拥 有 测试 脚本 、 测 试 设计 等 ， 但 是 这 些 工作 产品 都 不 向 客户 提 
供 ， 确 实 会 对 测试 人 员 的 拥有 意识 产生 影响 。 

减少 这 个 问题 影响 的 一 种 方法 是 赋予 测试 团队 确定 产品 就 绪 状 态 的 权力 ， 让 他 们 成 为 质 
量 的 最 终 仲裁 。 第 二 ， 有 些 测 试 结束 时 产生 随 产品 一 起 交付 的 用 户 确认 测试 用 例 和 安装 验证 
程序 后 ， 测 试 人 员 在 产品 中 就 有 了 更 多 可 交付 产品 。 最 后 一 点 ， 现 在 的 产品 相当 复杂 ， 不 仅 
需要 交付 二 进 制 代码 和 可 执行 程序 ， 还 要 交付 样本 程序 和 应 用 。 事 实 上， 大 多 数 产品 提供 商 
的 网 站 都 提供 样本 程序 或 应 用 ， 演 示 产 品 各 种 特性 的 使 用 。 对 产品 使 用 有 全 面 了 解 的 测试 工 
程 师 最 适合 编写 这 样 的 样本 应 用 程序 。 在 产品 发 布 时 包含 这 类 样本 ， 可 提高 测试 过 程 可 交付 
产品 可 视 化 的 意识 ， 从 而 提高 测试 过 程 的 拥有 意识 。 














13.1.7 “测试 只 是 破坏 ” 


有 人 认为 测试 工程 师 只 是 尽力 “破坏 软件 ”， 或 通过 测试 证 明 “ 产 品 不 能 有 效 运行 。” 这 
不 完全 对 。 测 试 的 这 种 “悲观 主义 ”( 即 要 找 出 缺陷 ) 只 是 测试 工作 的 一 个 方面 。 与 测试 关联 
的 悲观 主义 应 该 看 作 是 职业 上 的 悲观 或 建设 性 的 悲观 。 这 种 建设 性 的 
悲观 加 上 好 奇 心 对 于 建设 性 的 产品 开发 是 必要 的 。 测 试 工程 师 不 仅 会 二 是 证 二 人 本 本 
说 “什么 东西 不 能 正常 运行 ”， 他 们 还 会 指出 产品 中 的 “什么 东西 能 二 双关 硬 简 不 机 
正常 运行 ”"。 测 试 工作 结合 了 指出 产品 中 的 哪些 内 容 可 以 正常 运行 、 一 -一 -一 
“破坏 软件 ”、 分 析 发 布 带 有 缺陷 的 产品 的 风险 以 及 提出 综合 考虑 各 种 观点 的 缓解 计划 。 综 合 
考虑 各 种 观点 可 树立 测试 工程 师 的 积极 形象 。 

仅仅 因为 测试 工程 师 会 带 来 有 关 产 品 的 “ 坏 消息 ”( 不 能 正常 运行 的 消息 ) 并 不 意味 着 这 
个 职业 不 好 ， 或 测试 就 是 破坏 性 的 。 就 是 这 同一 个 测试 工程 师 也 可 以 提出 绕 过 缺陷 的 建议 ， 
当 客户 发 现 同样 或 类 似 的 缺陷 时 ， 可 以 节约 公司 的 经 费 ， 保 护 公司 的 形象 。 发 现 问 题 是 解决 
问题 的 一 半 。 通 过 用 充分 的 数据 从 正面 报告 问题 ， 测 试 工程 师 提 供 了 解决 问题 的 方法 ， 否 则 
在 很 多 情况 下 很 难 解决 这 些 问 题 。 

因此 ， 测 试 工 程 师 的 工作 不 仅 是 发 现 缺陷 ， 还 要 通过 从 测试 角度 评审 规格 说 明 、 设 计 、 
体系 结构 和 代码 ， 主 动 地 预防 缺陷 。 通 过 预先 向 开发 人 员 提 供 测 试用 例 ， 使 代码 可 以 结合 所 
有 的 测试 条 件 ， 人 避免 缺 陷 。 这 样 就 使 测试 具有 主动 性 、 建 设 性 ， 并 节省 发 现 和 修改 问题 的 工 
作 量 。 测 试 对 主动 解决 问题 的 贡献 ， 使 表面 上 的 破坏 性 章 含 着 建设 性 因素 。 


测试 既是 破坏 性 的 
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13.2 测试 与 开发 工作 的 比较 


上 一 节 讨 论 的 说 法 和 错误 概念 是 由 于 测试 和 开发 工作 有 很 大 不 同 。 以 下 讨论 这 些 差别 。 

测试 常常 是 在 时 间 很 紧 的 情况 下 进行 的 尽管 在 整个 软件 生存 周期 有 不 同 的 测试 阶段 和 测 
试 类 型 ， 主 要 测试 工作 还 是 会 集中 到 接近 产品 发 布 的 时 候 。 这 种 接近 产品 发 布 时 间 的 集中 测 
试 工作 会 带 来 一 些 特 有 的 策划 和 管理 方面 的 挑战 。 

在 项 目的 早期 阶段 一 般 更 具 “ 弹 性 ” 开发 工作 拖延 计划 几乎 成 了 正常 的 事 ! 但 是 ， 由 于 
产品 发 布 的 最 后 期 限 很 少 能 够 再 商量 ， 因 此 允许 开发 活动 具有 的 进度 弹性 和 灵活 性 通常 不 允 
许 测试 活动 有 。 因 此 ， 策 划 测 试 项 目 通 常 比 开 发 项 目的 灵活 性 小 。 

测试 工作 对 于 员工 来 说 是 最 困难 的 由 于 本 章 讨 论 过 的 所 有 原因 ， 与 其 他 部 门 相 比 ， 只 有 
很 少 人 愿意 把 测试 作为 职业 。 这 使 得 测试 部 门 很 难 吸引 和 保留 最 好 的 员工 。 但 是 ， 由 于 测试 部 
门 通常 要 经 受 很 大 的 进度 压力 ， 人 员 方 面 的 不 确定 性 需要 更 全 面 的 策划 ， 以 防 出 现 突 发 情况 。 

与 开发 部 门 相 比 ， 测 试 部 门 更 多 地 依赖 外 部 出 现 这 种 情况 有 两 个 原因 。 第 一 是 测试 要 在 
项 目 生存 周期 的 末尾 进行 。 第 二 是 测试 活动 通常 有 一 些 “ 暂 停 ” 情 况 ， 有 些 缺 陷 需 要 修改 才 
能 继续 进行 测试 。 当 修改 完 缺陷 再 次 测试 产品 时 ， 可 能 还 会 发 现 其 他 严重 缺陷 ， 因 此 对 外 部 
的 依赖 更 严重 。 


13.3 为 测试 人 员 提供 职业 发 展 道路 


前 面 概要 讨论 了 关于 测试 缺乏 职业 发 展 机 会 的 认识 误区 。 在 积极 的 测试 人 员 中 有 一 种 明 
显 的 对 职业 发 展 道路 的 不 确定 感 。 本 节 要 分 享 我 们 关于 测试 可 以 是 职业 的 想法 ， 并 再 次 强调 
对 于 有 热情 、 有 能 力 的 人 来 说 ， 测 试 职业 也 像 其 他 职业 一 样 ， 可 以 得 到 回报 和 满足 。 本 市 讨 
论 测试 人 员 寻 求 的 职业 发 展 道路 ， 以 及 职业 发 展 所 需要 的 能 力 。 

当 人 们 探寻 测试 职业 发 展 道路 时 (或 已 经 选择 了 职业 )， 所 追求 的 发 展 方面 包括 : 

1. 技术 挑战 ， 

2. 学 习 机 会 ， 

3. 不 断 增长 的 责任 和 权力 ， 

4. 不 断 增长 的 独立 性 ， 

5. 对 公司 的 成 功 发 挥 重要 影响 的 能 力 ， 

6. 奖励 和 被 承认 。 

为 了 在 以 上 方面 的 价值 链 上 向 更 高 方向 发 展 ， 我 们 提出 一 个 测试 人 员 可 以 遵循 的 分 三 个 
阶段 的 发 展 框架 。 

第 一 个 阶段 是 服从 阶段 。 从 这 个 阶段 开始 ， 测 试 人 员 和 公司 之 间 的 信任 和 信心 刚 开 始 发 
展 。 大 多 数 专业 人 员 在 某 个 公司 开始 自己 的 职业 生涯 (特别 是 刚 从 学 校 毕 业 ) 时 ， 就 是 按照 
所 给 的 指示 做 。 在 这 个 职业 发 展 阶段 ， 关 于 自己 必须 完成 什么 任务 和 如 何 完成 所 定义 的 任务 ， 
会 得 到 详尽 的 指示 。 这 对 于 个 人 和 公司 双方 试图 相互 适应 对 方 的 优点 和 发 展 协作 方法 是 必要 
的 。 因 此 在 这 个 阶段 的 工作 是 : 

I 相当 面向 任务 的 ， 

2. 有 详尽 的 指示 ， 

3. 几乎 不 需要 作 决 策 。 

在 服从 阶段 ， 技 术 人 员 通 过 所 分 配 的 任务 展示 自己 的 能 力 ， 既 能 使 自己 被 认为 是 值得 信 
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任 的 ， 也 能 使 自己 学 到 所 执行 任务 的 诀窍。 技术 人 员 要 准备 从 仅 通过 执行 指示 完成 任务 的 层 
次 ， 上 升 到 为 自己 和 其 他 人 进行 规划 的 阶段 。 到 了 职业 发 展 的 这 个 阶段 ， 需 要 更 多 地 关注 : 

1. 独立 地 作出 决策 ， 

2. 为 其 他 人 分 配 工作 方面 的 沟通 ， 

3. 与 其 他 小 组 的 沟通 。 

当 技 术 人 员 达 到 规划 阶段 ， 则 已 经 展现 出 事前 进行 计划 和 协调 、 监 视 工作 进展 的 能 力 。 
在 这 个 阶段 ， 专 业 人 员 承 担 执行 部 分 工作 的 能 力 上 升 一 个 层次 ， 从 而 进入 下 个 发 展 阶段 ， 承 
担 影 响 角色 ， 指 导 和 培养 其 他 新 人 。 在 这 个 影响 阶段 ， 自 己 成 为 角色 的 模范 。 公 司 内 的 其 他 
人 会 愿意 与 这 些 角色 模范 接触 ， 听 取 其 对 特定 任务 的 建议 和 忠告 。 在 这 个 阶段 ， 这 些 角色 模 
范 已 经 能 够 在 其 他 方面 担负 起 更 多 的 责任 。 承 担 更 多 责任 后 就 开始 在 服从 阶段 开创 新 领域 ， 
可 能 会 在 这 些 新 领域 中 已 有 角色 模范 的 指导 下 开展 工作 。 

下 面 从 部 门 角度 看 典型 测试 工程 师 的 职业 发 展 道路 。 典 型 测试 工程 师 的 职业 生涯 可 能 会 
从 执行 一 些 手工 或 自动 化 测试 开始 。 这 类 工作 要 求 严 格 遵守 给 定 的 指示 ， 按 照 所 规定 的 过 程 
进行 反馈 。 经 过 一 段 时 间 后 ， 测 试 工程 师 会 逐渐 从 执行 测试 发 展 为 使 用 自动 化 工具 编写 测试 
脚本 。 这 会 增加 对 测试 工程 师 的 挑战 。 下 一 步 就 是 进行 测试 设计 ， 这 需要 对 产品 和 领域 的 更 
好 理解 。 这 反 过 来 会 导致 形成 测试 设计 和 编码 的 标准 ， 因 此 对 测试 产生 更 宽广 的 影响 。 最 后 ， 
工程 师 可 以 到 达 影 响 阶段 ， 参 加 像 评估 自动 化 工具 、 与 外 部 产品 小 组 交流 等 活动 ， 包 括 参加 
上 游 的 设计 评审 活动 ， 从 而 提高 测试 的 有 效 性 。 

图 13-1 给 出 了 测试 人 员 的 一 种 可 能 的 分 三 个 阶段 的 职业 发 展 道路 。 首 先 从 测试 工程 师 开始 
职业 生涯 。 这 时 所 承担 的 大 部 分 角色 都 属于 服从 阶段 。 在 像 划 分 缺陷 这 样 的 领域 中 ， 测 试 工 
程 师 的 工作 一 般 属 于 规划 阶段 ， 这 最 接近 现实 。 表 13-2 给 出 了 测试 工程 师 要 面 对 的 各 种 责任 。 
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图 13-1 测试 人 员 的 职业 发 展 道路 
表 13-2 测试 工程 师 的 责任 


仁和 要 服从 规划 影响 
遵循 测试 过 程 执行 测试 用 例 、 维 护 测试 用 例 等 v 
编写 高 质量 的 缺陷 报告 ， 使 开发 人 员 能 够 使 用 Vv 
为 缺陷 分 类 Vv 
遵守 所 规定 的 进度 计划 Vv 


编写 高 质量 的 文档 Vv 
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测试 工程 师 在 积累 了 必要 的 专业 知识 ， 并 展示 出 自己 的 能 力 与 素质 后 ， 就 成 为 高 级 测试 
工程 师 。 在 这 个 层次 参加 测试 工程 师 的 活动 ， 更 具 独 立 性 ， 较 少 接受 指导 。 在 大 量 话 动 中 逐 
渐 发 展 到 规划 阶段 。 此 外 还 要 承担 一 些 新 任务 ， 并 逐渐 精通 (通过 服从 阶段 的 积累 )。 表 13-3 
给 出 了 高 级 测试 工程 师 要 面 对 的 各 种 责任 。 
表 13-3 高 级 测试 工程 师 的 责任 
任 务 服从 规划 影响 





遵循 测试 过 程 执 行 测试 用 例 、 维 护 测试 用 例 等 这 Vv 
编写 高 质量 的 缺陷 报告 ， 使 开发 人 员 能 够 使 用 Vv vV 
为 缺陷 分 类 v 
遵守 所 规定 的 进度 计划 V Vv 
编写 高 质量 的 文档 vV Vv 
帮助 开发 人 员 调 试 和 确定 问题 Vv 
对 改进 测试 过 程 提出 意见 vV 
采集 与 测试 有 关 的 度量 数据 


下 一 个 发 展 阶 段 是 测试 领导 ， 主 要 负责 产品 的 模块 级 测试 。 测 试 领导 和 模块 开发 领导 密 
切 协 作 ， 保 证 模块 达到 所 期 望 的 功能 要 求 。 测 试 领导 要 参加 相当 大 量 的 影响 阶段 活动 ， 并 把 
工作 交 给 测试 工程 师 和 高 级 工程 师 完 成 。 对 测试 领导 的 沟通 能 力 有 更 高 的 要 求 ， 包 括 组 内 的 
沟通 能 力 和 与 其 他 组 的 沟通 能 力 。 测 试 领导 要 成 为 执行 下 游 测试 人 员 的 基点 ， 例 如 集成 测试 
和 系统 测试 。 表 13-4 给 出 了 测试 领导 要 面 对 的 各 种 责任 。 


表 13-4 测试 领导 的 责任 
(0 服从 规划 影响 


评审 模块 级 的 测试 用 例 、 测 试 设计 等 Vv 度 
策划 模块 级 测试 策略 和 测试 计划 Vv 

分 配 测试 任务 Vv 

监管 所 分 配 的 任务 Vv Vv 

选择 模块 级 测试 技术 和 工具 Vv Vv 
指导 团队 成 员 并 在 技术 上 提供 帮助 V 
就 调试 和 问题 重 现 与 开发 团队 交互 V 
就 调试 和 问题 重 现 与 产品 文档 团队 交互 

采集 和 分 析 与 测试 有 关 的 模块 级 度量 数据 vV vV 
对 模块 级 的 测试 质量 负 全 责 V vV 


测试 领导 位 置 对 于 个 人 来 说 是 个 决策 点 。 人 们 可 以 沿 着 技术 方向 发 展 ， 也 可 以 沿 管理 方 
向 发 展 。 在 管理 方向 上 ， 可 以 承担 测试 经 理 或 部 门 领导 。 这 种 角色 的 责任 集中 在 人 员 问 题 和 
更 高 层次 的 策略 问题 。 测 试 经 理 和 部 门 领导 的 大 部 分 工作 属于 影响 和 规划 层 。 如 果 确 定 不 想 
沿 管理 方向 发 展 ， 而 想 搞 技 术 ， 那 么 可 以 担当 测试 结构 设计 师 的 工作 。 这 种 角色 基本 上 没有 
直接 管理 人 员 的 职责 ， 而 是 更 集中 在 提供 总 体 技术 指导 、 公 司 价值 方面 领导 者 、 帮 助 招聘 并 
指导 公司 中 的 顶级 有 潜力 的 员工 、 在 测试 自动 化 工具 的 选择 上 发 挥 积 极 作用 等 。 表 13-5 给 出 
了 测试 经 理 或 部 门 领导 要 面 对 的 各 种 责任 。 
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表 13-5 ”测试 经 理 或 部 门 领导 的 责任 
任 务 服从 规划 影响 


策划 产品 或 公司 级 测试 策略 

在 产品 或 公司 级 推动 质量 工作 

在 理事 会 上 分 配 资源 
确定 技术 和 工具 选择 

风险 分 析 

组 间 协 作 

招聘 并 在 公司 内 保留 顶级 有 潜力 的 员工 
帮助 团队 成 员 进 行 职业 发 展 规划 

落实 公司 级 政策 Vv 
在 团队 中 灌输 公司 价值 

有 效 的 管理 会 议 

通过 有 效 沟通 使 每 个 人 都 保持 同步 


SS 


< 





SN 
SS KM SS 


实践 证 明 ， 这 些 不 同 角色 在 实现 测试 工程 师 的 成 功 职业 发 展 中 相当 有 效 。 为 了 在 不 同 层 
次 上 完成 所 需 的 工作 ， 需 要 很 好 的 知识 、 技 能 和 态度 的 组 合 。 知 识 指 知道 在 不 同情 况 下 做 什 
么 。 技 能 指 理解 如 何 做 所 要 求 的 事 。 态 度 指 有 内 在 动力 想 要 做 合适 的 事 。 为 员工 提供 职业 发 
展 道路 的 能 力 强 烈 依赖 于 对 知识 、 技 能 和 态度 的 正确 组 合 的 认识 。 表 13-6 归 纳 了 每 个 工作 层 
次 上 所 需 的 各 种 属性 。 


表 13-6 不 同 工 作 层次 上 测试 专业 人 员 所 需 的 属性 








属 性 测试 工程 师 ”高 级 测试 工程 师 。 测试 领导 测试 经 理 测试 结构 设计 师 
知识 
产品 知识 低 中 高 非常 高 非常 高 
接口 知识 中 高 非常 高 非常 高 非常 高 
竞争 信息 低 低 非 必 需 但 有 用 非常 高 非常 高 
测试 过 程 知 识 高 高 高 高 高 
测试 工具 使 用 知识 高 非常 高 高 中 高 
测试 行业 最 佳 实践 低 中 高 非常 高 非常 高 
测试 设计 评审 低 中 中 高 非常 高 
测试 用 例 评审 低 中 高 高 非常 高 
过 程 改进 低 中 非常 高 高 非常 高 
风险 管理 低 中 非常 高 非常 高 中 
测试 自动 化 高 非常 高 非常 高 高 中 
特性 需求 和 可 测试 性 评审 低 低 高 非常 高 非常 高 
采集 测试 指标 数据 低 低 非常 高 非常 高 低 
指标 数据 分 析 低 低 高 非常 高 非常 高 
评价 工具 低 低 中 高 非常 高 
整体 发 布 质 量 低 低 高 非常 高 中 
技能 
分 享 知识 的 能 力 中 中 高 高 非常 高 
内 部 沟通 技能 中 中 高 非常 高 非常 高 
跨 组 沟通 技能 低 中 非常 高 非常 高 非常 高 
寻求 和 利用 反馈 意见 的 能 力 非常 高 非常 高 高 高 非常 高 
情况 变更 及 时 通知 直接 经 理 非常 高 非常 高 非常 高 高 中 
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( 续 ) 
属 性 测试 工程 师 “高 级 测试 工程 师 。 测试 领导 ”测试 经 理 测试 结构 设计 师 

划分 优先 级 的 能 力 低 低 高 高 高 
主动 提出 问题 的 能 力 非常 高 非常 高 非常 高 高 高 
客户 焦点 中 中 高 非常 高 非常 高 
设 定 目标 低 中 非常 高 非常 高 高 
独立 工作 的 能 低 中 高 非常 高 非常 高 
有 效 的 状态 报告 非常 高 非常 高 非常 高 非常 高 非常 高 
谈判 与 影响 别人 的 能 低 低 高 非常 高 非常 高 
与 团队 交互 中 的 形象 意识 低 中 高 非常 高 非常 高 
态度 
灌输 工作 自豪 感 中 中 高 非常 高 非常 高 
通过 以 身 作 则 鼓励 人 低 中 高 非常 高 非常 高 
促进 团队 工作 低 低 中 非常 高 非常 高 
为 自己 和 团队 设 定 和 跟踪 挑战 目标 低 低 中 非常 高 高 
向 团队 提供 技术 指导 低 高 非常 高 高 非常 高 
特性 或 模块 测试 的 推进 策略 低 低 高 非常 高 非常 高 
给 人 员 分 配 任务 低 低 高 常 高 低 


除了 以 上 这 些 ， 无 论 公司 中 哪个 层次 ， 都 有 一 些 共 同 特点 ， 包 括 : 

1. 做 为 团队 成 员 ， 需 要 理解 团队 作为 一 个 整体 成 功 的 重要 性 ， 而 不 是 只 关注 个 人 兴趣 。 
前 面 已 经 介绍 过 ， 测 试 团队 的 成 功 取决 于 在 产品 交付 前 发 现 缺陷 。 这 不 应 看 作 与 开发 冲突 的 
工作 。 整 个 公司 的 关注 点 都 应 该 是 按时 发 布 高 质量 的 产品 ， 而 测试 团队 的 成 员 也 应 该 记 住 这 
个 总 体 目 标 。 

2. 要 主动 。 与 大 多 数 其 他 职业 一 样 ， 成 功 的 人 都 是 主动 、 自 觉 奉 献 、 积 极 实践 并 与 其 他 
人 分 享 心得 的 人 。 测 试 职业 也 不 例外 。 

3. 做 个 不 断 的 学 习 者 。 随 着 技术 的 迅速 发 展 ， 个 人 能 够 迅速 适应 新 的 技术 、 过 程 和 工具 
是 最 基本 的 要 求 。 

4. 能 够 对 变化 作出 迅速 响应 ， 同 时 不 放弃 主动 策划 。 测 试 需要 团队 成 员 具 有 很 大 的 灵活 
性 ， 特 别 是 因为 测试 是 一 种 下 游 活动 。 测 试 团队 应 该 能 够 对 优先 级 的 变化 、 开 发 产品 拖延 提 
交 和 员工 流动 等 快速 作出 响应 。 同 时 ， 测 试 团队 还 要 尽 可 能 早 地 预测 出 这 类 突 发 事件 ， 以 便 
为 更 好 地 应 对 这 些 变化 作 准 备 。 

通过 以 上 讨论 ， 显 然 对 测试 职业 发 展 没 有 出 路 的 担忧 是 完全 没有 必要 的 。 对 于 积极 和 有 
能 力 的 专业 人 员 来 说 ,测试 有 足够 的 挑战 、 足 够 的 回报 和 足够 的 职业 发 展 机 会 值得 奋斗 。 


13.4 生态 系统 的 角色 与 行动 要 求 

以 上 讨论 的 错误 看 法 、 概 念 和 问题 并 不 对 每 个 公司 都 适用 。 还 需要 采取 一 些 总 体 的 、 更 
高 层次 的 行动 。 这 些 行动 适用 于 涵盖 教育 系统 、 高 级 管理 层 和 作为 整体 行业 的 整个 生态 系统 。 
本 节 将 讨论 这 些 问题 并 提出 满足 生态 系统 要 素 所 需 的 行动 。 
13.4.1 教育 系统 的 角色 


教育 系统 并 没有 对 测试 给 予 充分 重视 。 以 下 是 在 大 部 分 大 学 中 普遍 存在 的 一 些 现象 : 
。 关 于 程序 设计 有 正式 的 核心 课程 ， 但 是 没有 几 所 大 学 提供 有 关 软 件 测 试 的 核心 课程 ， 
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大 多 数 大 学 没有 有 关 测 试 的 正式 的 完整 课程 ， 即 使 有 ， 最 多 也 不 过 是 人 数 不 多 的 选修 


课程 。 正确 的 价值 只 能 更 
正确 能 只 外 

。 有 针对 各 种 开发 工具 的 “实验 课程 *， 但 是 没有 或 极 少 有 针对 ER 

常用 测试 工具 的 。 . 


* 即使 在 像 操作 系统 和 数据 库 这 样 的 课程 中 ， 对 练习 和 实践 工作 。 丕 且 被 老 师 教授 | 
的 强调 也 只 是 放 在 程序 设计 而 不 是 对 所 构建 产品 的 有 效 测试 上。 结果 ， 学 生 最 终 会 误 
认为 生产 操作 系统 或 数据 库 的 工作 到 编码 完成 就 结束 了 

。 作 为 课程 一 部 分 的 大 多 数 “ 项 目 ”( 需 要 一 个 完整 学 期 )， 从 来 不 要 求 作 测试 计划 也 
不 研究 测试 有 效 性 问题 ， 几 乎 所 有 重心 都 放 在 编码 上。 由 于 学 生 要 受到 回报 的 牵引 
他 们 几乎 完全 忽视 测试 工作 ， 在 开始 其 职业 生涯 时 就 养 成 了 必须 “纠正 ”的 习惯 ， 

.大 多 数 课程 和 项 目 在 鼓励 学 生 表 现 方面 很 少 考虑 团队 工作 的 培养 ， 而 团队 工作 对 于 开 
发 和 测试 工程 师 的 成 功 是 非常 重要 的 。 最 重要 的 是 ， 对 于 测试 工程 师 来 说 ”绝对 是 立 
足 基石 的 沟通 和 软 技能 在 大 学 中 从 来 不 被 强调 或 正式 讲授 。 

“ 现实 世界 的 现象 ， 例 如 不 断 变更 的 困扰 和 这 种 变更 对 产品 质量 的 影响 ， 以 及 对 测试 和 
质量 保证 方法 的 要 求 等 ， 很 少 被 强调 。 这 降低 了 学 生 对 变化 的 迅速 反应 能 力 ， 

需要 尽快 采取 一 些 措施 ， 提 高 对 测试 重要 性 的 认识 ， 并 教授 测试 所 需 的 知识 ”技能 和 太 

度 ， 包 括 ; 

“对 计算 机 科学 、 软 件 工程 和 信息 技术 专业 的 所 有 学 生 开设 有 关 软件 测试 的 必修 课 ， 

.在 学 位 程序 中 更 加 关注 沟通 和 软 技能 ， 

要 求 每 门 课程 的 实践 部 分 不 仅 关注 程 序 设计 问题 ， 还 要 关注 系统 地 对 所 开发 产品 进行 
测试 的 问题 ， 

.在 项 目 工作 中 ， 留 出 一 定 比例 的 分 数 给 制定 测试 计划 和 采集 合适 的 测试 指标 数据 

总 之 ， 学 术 界 必须 向 学 生 灌输 正确 的 价值 体系 ， 认 识 到 测试 工作 的 重要 性 和 价值 ”这 不 

仅 需要 适当 修改 评价 准则 等 具体 工作 ， 还 需要 转变 学 术 态 度 。 


13.4.2 高 级 管理 层 的 角色 


公司 的 高 级 管理 层 对 于 发 展 测试 职业 具有 至 关 重 要 的 作用 。 只 是 说 “质量 是 我 们 最 关注 
的 事 ”或 “人 是 头等 重要 的 ”是 不 够 的 。 这 种 承诺 要 转化 成 看 得 到 的 行动 。 高 级 管理 层 可 以 
采取 的 一 些 具体 措施 包括 ， 

1 保证 把 有 发 展 潜力 的 员工 公平 地 分 配 到 测试 部 门 。 比 如 ， 通 过。 和 专业 人 页 ， 不 仅 要 全 
把 一 些 从 “象牙 塔 尖 ” 学 校 毕业 的 员工 分 配 到 测试 部 门 ， 高 级 管理 层 到， 而 且 要 做 得 被 看 到 
发 出 对 于 质量 的 承诺 和 重视 测试 部 门 的 信号 。 

2. 不 允许 开发 工程 师 看 不 起 测试 工程 师 。 要 平等 对 待 ， 他 们 都 是 平等 的 共同 利益 方 ， 都 
对 产品 的 成 功 做 出 了 贡献 。 

3. 鼓励 并 有 意识 地 保证 开发 、 测 试 和 支持 部 门 之 间 的 人 员 轮 换 。 这 种 岗位 轮换 会 提高 公 
司 内 部 的 凝聚 力 ， 最 大 限度 地 降低 测试 人 员 被 “看 不 起 ”的 机 会 。 

4. 在 承认 和 奖励 机 制 上 展现 对 所 有 部 门 表现 好 的 员工 的 平等 。 

5. 通过 为 测试 专业 人 员 提 供 进一步 学 习 知识 和 技能 的 机 会 提高 他 们 的 能 力 。 比 如 鼓励 他 
们 参加 测试 界 的 活动 ， 例 如 会 议 ， 奖 励 他 们 参加 各 种 认证 培训 等 。 这 可 以 产生 测试 的 角色 榜 
样 ， 在 公司 内 得 到 高 度 重视 ， 从 而 鼓励 更 多 的 员工 把 测试 选 作 职业 。 
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怎样 发 现 好 的 测试 人 员 ? 

寻找 以 测试 为 骄傲 的 人 如 果 眼 睛 里 没有 流露 出 兴奋 ， 胸 中 也 不 大 可 能 燃烧 
激情 之 火 。 

寻找 没有 错别字 的 简历 如 果 应 聘 者 连 自己 的 简历 都 测试 不 好 ， 也 不 大 可 能 


测试 好 产品 ! 

考验 应 聘 者 选 开 发 还 是 选 测试 …… 踏 实 肯 干 的 测试 人 员 是 不 会 上 当 的 。 

考察 其 对 产品 领域 的 总 体 理解 好 的 测试 人 员 能 更 好 地 理解 全 局 ， 并 把 这 种 
理解 直观 地 表现 出 来 。 





我 们 引用 了 阿 加 莎 克里斯蒂 (Agatha Christie) 《原告 的 证 人 》 中 的 一 段 话 ， 作 为 高 级 
管理 层 在 发 展 测试 职业 方面 的 角色 总 结 。 


13.4.3 测试 界 的 角色 


不 管 高 级 管理 层 或 学 术 界 做 什么 ， 测 试 界 的 成 功 总 是 从 内 部 开始 的 。 有 一 些 事 是 测试 界 ， 
一 也 就 是 测试 专业 人 员 要 做 的 ， 以 展现 和 推动 测试 专业 。 
要 是 志 言 普天 寿 平 等 记 测试 人 员 首 先 要 对 自己 的 工作 有 自豪 感 ， 更 全 面 地 发 挥 自 己 的 角 
呈 谢世 性 ， 波 着 汪 坦 色 作用 ， 对 整个 产品 有 全 局 观 。 缺 少 自豪 感 往往 会 产生 自己 不 如 开发 
地 用， 水 是 是 泣 的 | 人 员 的 表象 ， 从 而 陷入 自我 满足 的 境地 。 
- 对 工作 的 自豪 感 可 能 适合 用 一 个 老 故 事 解 释 。 











有 三 个 人 在 建筑 工地 上 干 活 。 

一 个 过 路 人 问 第 一 个 工人 ,“ 你 们 在 做 什么 ? ” 

“ 味 | 我 在 混 日 子 ， 这 就 是 我 的 命 , ”他 回答 说 。 

过 路 人 又 问 第 二 个 工人 同样 的 问题 。“ 我 在 加 工 石 头 ,， 
第 二 个 工人 回答 说 。 

于 是 过 路 人 又 问 第 三 个 工人 同样 的 问题 。 

第 三 个 工人 充满 热情 地 回答 说 ,，“ 我 在 帮助 建 一 座 很 快 就 在 这 个 工地 上 意 立 起 来 
的 大 教堂 | 

第 一 个 工人 就 像 把 测试 作为 权宜 之 计 的 测试 人 员 ， 抱 怒 自 己 命 不 好 ， 没 有 得 到 
开发 工作 。 第 二 个 工人 就 像 做 测试 ， 但 看 不 到 工作 意义 的 人 。 

第 三 个 工人 看 到 了 自己 工作 的 价值 ， 并 理解 全 局 。 










测试 人 员 自 己 应 该 把 测试 看 成 是 一 种 职业 ， 而 不 是 权宜 之 计 或 转 到 开发 部 门 的 手段 。 希 
望 前 一 节 描述 的 职业 发 展 道路 能 够 激励 人 们 把 测试 作为 一 种 职业 。 

测试 工程 师 不 仅 要 遵循 已 有 的 技术 ， 还 可 以 在 形成 和 使 用 新 技术 上 起 积极 作用 。 测 试 工 
程 师 很 难 理解 新 技术 ， 只 有 “开发 人 员 ” 才 能 更 好 地 理解 的 观点 是 错误 的 。 有 时 测试 工程 师 
面临 要 同时 学 习 技 术 和 测试 产品 的 压力 。 同 时 学 习 产 品 和 测试 可 能 会 降低 测试 的 有 效 性 。 这 
种 状况 必须 改变 。 理 想 的 情况 是 ， 在 实现 产品 之 前 测试 工程 师 就 主动 了 解 了 新 的 技术 领域 。 
这 可 以 通过 成 为 产品 开发 团队 的 一 部 分 并 作出 贡献 ， 保 证 新 技术 在 产品 中 被 正确 采纳 ， 以 使 
客户 受益 来 实现 这 种 目标 。 测 试 工程 师 主 动 参与 了 解 新 技术 ， 可 以 引入 更 好 的 用 户 视角 ， 从 
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而 提高 产品 的 市 场 潜在 价值 。 

开发 和 其 他 软件 工程 领域 有 紧密 联系 的 一 个 原因 是 存在 分 享 经 验 和 知识 的 社区 和 论坛 。 
有 许多 涉及 各 种 开发 问题 的 会 议和 研讨 会 ， 而 纯粹 有 关 测 试 的 论坛 却 非常 有 限 。 好 消息 是 这 
种 状况 最 近 几 年 正在 迅速 发 生变 化 。 重 要 的 是 要 保持 创建 和 维护 测试 专业 论坛 的 动力 。 可 以 
采取 的 行动 包括 : 

。 在 承认 和 宣传 测试 重要 性 方面 开展 工业 界 和 学 术 界 的 合作 ， 

。 设 立 基金 奖励 测试 专业 的 杰出 贡献 者 ， 

。 组 织 关 注 测试 的 活动 。 

以 上 介绍 的 生态 系统 中 各 个 方面 的 协作 可 以 尽早 地 发 现 优秀 测试 专业 人 员 ， 拓 展 他 们 的 
知识 、 技 能 和 理念 ， 使 他 们 能 够 更 好 地 满足 实际 需求 。 他 们 可 以 继续 在 测试 职业 上 发 展 ， 理 
解 测试 职业 的 商业 价值 ， 并 对 整个 行业 的 贡献 感到 自豪 。 


问题 与 练习 


1. 有 人 说 测试 工作 没有 挑战 性 ， 你 怎样 反驳 ? 
2. 本 章 只 讨论 了 两 种 工作 部 门 ， 分 别 叫 做 “开发 部 门 ”和 “测试 部 门 ”"。 请 考虑 其 他 部 门 ， 例 
如 支持 和 维护 部 门 。 
a. 比较 测试 和 这 些 部 门 的 职业 发 展 道路 。 
b. 比较 测试 和 这 些 部 门 的 性 质 ， 指 出 相似 和 不 同 点 。 
3. 请 讨论 怎样 在 所 有 部 门 ， 即 开发 、 维 护 、 测 试 和 支持 部 门 之 间 实 行 轮 换 ， 才 可 以 对 组 织 
效益 。 
4. 你 赞同 以 下 高 级 管理 层 说 的 哪些 话 ? 请 说 出 理由 。 
a. “如 有 果 你 做 半年 测试 ， 我 就 让 你 做 Java 开 发 。 
b. “我 们 的 聘用 政策 是 聘用 本 科 生 〈 刚 毕业 ) 去 测试 部 门 ， 本 科 生 不 能 去 开发 部 门 。” 
c. “每 个 开发 人 员 都 必须 去 测试 和 支持 部 门 轮换 工作 三 个 月 。” 
d. “所 有 部 门 表现 最 好 的 员工 所 得 到 的 奖金 分 配 比 例 应 该 是 一 样 的 。” 
5. 如 何 回答 测试 工程 师 的 以 下 说 法 ? 
a. “他 和 我 都 从 同一 所 大 学 毕业 ， 我 的 成 绩 比 他 好 ， 为 什么 他 去 开发 部 门 而 我 只 能 去 做 测 
试 ?“ 
b. “我 在 测试 岗位 上 表现 得 不 好 ， 因 为 我 说 过 我 对 测试 不 感 兴 趣 …… 把 我 调 到 开发 部 门 ， 
看 我 的 表现 吧 。” 
c. “我 喜欢 测试 工作 ， 告 诉 我 在 测试 中 我 可 以 学 到 哪些 新 东西 吧 。” 
d. “我 已 经 选择 了 测试 一 一 难道 我 不 应 该 得 到 更 高 补偿 吗 ? “ 
6. 你 有 一 个 测试 工程 师 团队 ， 其 中 有 些 人 你 认为 可 以 发 展 为 高 级 测试 工程 师 。 你 要 为 他 们 开 
列 哪些 培训 内 容 ? 
7. 如 果 有 人 想 从 测试 结构 设计 师 调 到 测试 经 理 岗 位 ， 
a. 他 (她 ) 会 遇 到 什么 挑战 ? 
b. 需要 接受 什么 培训 ? 
c. 为 了 在 新 岗位 上 取得 成 功 ， 自 身 要 作 哪 些 改变 ? 
8. 管理 层 的 任务 之 一 是 “推动 产品 和 公司 级 质量 工作 。” 请 进一步 研究 这 个 问题 ， 并 细 分 为 多 
个 活动 。 


第 14 章 测试 团队 的 组 织 结构 


14.1 组 织 结构 的 要 素 


本 章 将 介绍 典型 测试 组 织 中 的 各 种 组 织 结构 。 (我们 只 讨论 直接 进行 开发 和 测试 的 组 织 结 
构 ， 不 包括 公司 的 其 他 部 门 ， 例 如 财务 、 行 政 等 。) 

上 一 章 讨论 了 直接 与 人 员 问 题 有 关 的 组 织 结 构 问题 。 另 外 ， 组 织 结构 不 仅 对 有 效 性 是 非 
常 重要 的 ， 因 为 设计 良好 的 组 织 结构 可 提供 对 结果 的 可 审计 性 。 这 种 可 审计 性 能 够 促进 不 同 
要 素 之 间 的 团队 协作 ， 并 能 更 好 地 关注 工作 。 此 外 ， 组 织 结构 还 为 团队 成 员 的 职业 发 展 提供 
了 路 线 图 。 

我 们 从 两 个 方面 讨论 组 织 结构 ， 一 个 是 组 织 类 型 ， 一 个 是 地 域 分 布 。 

我 们 把 公司 类 型 大 致 分 为 两 大 类 ， 产 品 公司 和 服务 公司 。 产 品 公司 生产 软件 产品 ， 对 整 
个 产品 有 一 套 “ 从 生 到 死 ”( 或 从 设计 、 开 发 、 测 试 和 维护 到 产品 退出 使 用 ) 的 责任 。 测 试 是 
其 中 的 一 个 阶段 或 公司 的 一 个 组 。 本 章 要 讨论 的 产品 公司 是 多 产品 公司 。 服 务 公司 没有 完整 
的 产品 责任 。 在 测试 方面 ， 他 们 是 向 有 需求 的 其 他 公司 提供 测试 服务 的 外 部 公司 。 从 本 质 上 
看 ， 测 试 服务 是 对 这 类 公司 的 外 包 。 这 类 测试 服务 公司 有 专门 人 员 进行 测试 。 他 们 还 承担 专 
门 和 特殊 领域 的 测试 工作 ， 例 如 性 能 测试 、 国 际 化 测试 等 。 

决定 组 织 结构 的 第 二 个 关键 要 素 是 团队 的 地 理 分 布 。 包 含 测试 的 产品 或 服务 公司 可 以 是 
单一 场地 也 可 以 是 多 个 场地 。 对 于 单一 场地 的 团队 ， 所 有 成 员 都 在 一 个 地 方 工作 ， 而 多 个 场 
地 的 团队 则 分 散在 多 个 地 点 。 多 个 场地 的 团队 有 影响 组 织 结构 的 文化 和 其 他 因素 。 


14.2 单产 品 公司 的 结构 
产品 公司 一 般 都 有 与 图 14-1 类 似 的 高 层 组 织 结构 。 






图 14-1 多 产品 公司 的 组 织 结构 


注 : 图 14-1 中 只 给 出 与 本 章 的 讨论 直接 有 关 的 小 组 。 这 里 没有 包含 像 销售 、 财 务 和 行政 、 
硬件 基础 设施 等 小 组 。 
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首席 技术 官 负责 公司 的 高 层 技术 指导 。 业 务 单元 负责 公司 所 生产 的 每 个 产品 。( 有 了 时 业务 
单元 也 处 理 产品 的 相关 事务 ， 以 形成 产品 线 。) 产品 业务 单元 又 分 成 产品 管理 组 和 产品 交付 组 ，。 
产品 管理 组 负责 结合 特定 的 市 场 需要 整理 首席 技术 官 的 指示 ， 形 成 产品 路 线 图 。 产 品 交付 组 
负责 交付 产品 ， 并 处 理 开发 和 和 测试 工作 。 这 里 使 用 “项 目 经 理 ” 这 个 词 表 示 这 个 部 门 的 领 
导 ， 有 时 也 使 用 “开发 经 理 ”或 “交付 经 理 ”。 

图 14-1 表 示 典 型 的 多 产品 公司 。 交 付 团 队 的 内 部 组 织 对 于 单产 品 和 多 产品 公司 的 不 同 场 
景 是 不 同 的 ， 这 些 将 在 以 下 讨论 。 


14.2.1 单产 品 公司 的 测试 团队 结构 


大 多 数 产品 公司 都 是 从 单一 产品 开始 的 。 在 进展 的 初期 ， 公 司 没 有 很 多 正式 化 的 过 程 。 
产品 交付 团队 成 员 把 自己 的 时 间 分 摊 在 多 个 任务 上 ， 常 常 身 兼 多 种 岗位 。 所 有 工程 师 都 向 负 
责 整个 项 目的 项 目 经 理 报告 ， 测 试 工作 和 开发 工作 没有 多 大 区 分 。 因 此 ， 在 “开发 团队 ”和 
“测试 团队 ”之 间 并 没有 很 明显 的 界限 。 

如 图 14-2 所 示 的 模型 适用 于 产品 处 于 早期 进展 阶段 的 场景 。 在 图 14-2 中 ,“ 项 目 经 理 ” 负 
责 产 品 的 一 部 分 或 全 部 。 这 里 有 意 没 有 给 出 开发 和 测试 部 门 的 多 层 管理 ， 因 为 在 小 公司 的 开 
发 早期 阶段 ， 只 有 很 少 的 管理 层次 ， 承 担 “ 经 理 ”.“ 负 责 人 ”等 岗位 工作 的 人 实际 上 也 是 
“工程 师 ”， 也 要 完成 工程 工作 。 





图 14-2 产品 早期 阶段 的 典型 组 织 结构 


这 种 模型 的 一 些 优点 非常 适合 小 公司 : 

利用 了 测试 活动 主要 在 后 期 的 特性 尽管 测试 活动 分 布 在 整个 项 目 生存 周 期 ， 但 是 测试 的 
主要 关注 点 和 压力 点 还 是 在 项 目 生 存 周期 的 后 期 。 因 此 ， 这 种 组 织 结构 提供 了 一 种 自动 任务 
平衡 机 制 ， 在 项 目的 早期 阶段 ， 每 个 人 都 做 开发 ， 而 在 后 期 ， 他 们 又 承担 不 同 岗位 的 工作 ， 
转 到 测试 上 来 。 

使 工程 师 获 得 生存 周期 所 有 方面 的 经 验 由 于 工程 师 把 自己 的 时 间 分 别 投入 到 开发 和 测试 
中 ， 因 此 了 解 所 有 生存 周期 活动 所 包括 的 一 切 内 容 。 这 也 使 他 们 了 解 所 有 活动 的 重要 性 和 困 
难 ， 为 日 后 划分 不 同 小 组 后 的 更 好 的 团队 协作 打下 了 基础 。 

尊重 这 样 的 事实 ， 即 公司 主要 使 用 非 正式 的 过 程 处 于 早期 的 公司 通常 只 有 非 正 式 过 程 ， 
可 能 没有 定义 完备 的 产品 从 一 个 阶段 转 入 下 一 个 阶段 ， 比 方 说 从 开发 到 测试 的 进入 和 退出 准 
则 。 因 此 ， 在 开发 和 测试 之 间 复 用 相同 的 资源 是 与 公司 的 非 正 式 性 质 相 适 应 的 。 


198 萝 四 部 分 出 戚 史 的 人 吊 和 组 织 问 题 





会 在 早期 发 现 一 些 缺 陷 由 于 开发 人 员 执 行 测 试 工作 ， 因 此 有 可 能 在 时 间 上 更 早 发 现 缺 陷 
(很 像 白 盒 测 试 所 起 的 作用 )。 

但 是 这 种 模型 有 严重 的 弱点 ， 使 公司 很 快 发 生 偏离 。 这 些 弱点 包括 : 

降低 了 测试 和 质量 的 责任 由 于 相同 的 人 员 从 事 开发 和 测试 工作 ， 使 得 测试 和 质量 的 责任 
受到 挑战 。 开 发 人 员 (或 项 目 经 理 ) 会 把 交付 日 期 放 在 第 一 位 ， 还 是 会 抽 开 发 的 空 做 测试 ? 
他 们 更 可 能 把 时 间 用 在 开发 上 ， 增 加 一 些 新 特性 ， 黄 至 以 牺牲 彻底 测试 已 有 特性 为 代价 。 因 
此 ， 测 试 的 责任 受到 损害 。 

开发 人 员 一 般 不 喜欢 测试 ， 因 此 测试 的 有 效 性 受到 损害 第 13 章 介绍 过 ， 开 发 人 员 一 般 不 
喜欢 执行 测试 活动 。 因 此 ， 在 这 种 模型 中 ， 他 们 承担 测试 任务 是 承担 开发 “ 酷 任 务 ” 的 “ 代 
价 ”。 这 种 对 承担 测试 工作 缺乏 内 在 动力 ， 会 对 测试 的 有 效 性 产生 明显 影响 。 

进度 压力 一 般 会 使 测试 受到 威胁 压力 当前 ， 最 后 期 限 决定 生存 ! 总 会 有 很 多 最 后 期 限 必 
须 达 到 ， 可 能 没有 足够 的 时 间 进 行 测 试 。 因 此 ， 与 典型 的 工程 师 更 愿意 承担 开发 任务 而 不 是 
测试 任务 相 一 致 ， 测 试 的 质量 也 会 受到 损害 。 

开发 人 员 可 能 难以 完成 不 同类 型 的 测试 前 面 儿 章 介 绍 过 ， 测 试 有 各 种 不 同 的 类 型 。 开 发 
人 员 可 能 不 具备 完成 所 有 类 型 测试 的 能 力 ， 因 为 有 些 测 试 需要 专门 的 基础 设施 或 技能 。 例 如 ， 
性 能 测试 就 不 是 一 般 产品 开发 人 员 能 够 有 效 完成 的 ， 因 为 必须 深入 了 解 典 型 的 工作 负载 ， 使 
用 特殊 的 工具 ， 等 等 。 因 此 ， 有 必要 至 少 把 这 些 特 殊 的 测试 工作 独立 出 来 ， 成 立 不 同 的 小 组 。 

随 着 产品 的 成 熟 和 过 程 的 进展 ， 既 做 开发 又 做 测试 的 均匀 单产 品 公司 会 分 为 两 个 不 同 的 
小 组 ， 一 个 做 开发 ， 一 个 做 测试 ， 如 图 14-3 所 示 。 这 两 支 团队 是 对 等 的 ， 都 向 负责 整个 产品 
的 项 目 经 理 报 告 。 在 这 种 模型 中 可 以 去 除 上 一 个 模型 的 一 些 弱点 。 





图 14-3 分 开 的 测试 和 开发 小 组 


1. 测试 和 开发 有 明确 的 责任 。 可 以 更 明确 地 确定 和 划分 两 个 团队 的 结果 和 预期 。 

2. 测试 提供 一 种 外 部 的 视角 。 由 于 测试 和 开发 在 逻辑 上 是 分 开 的 ， 因 此 不 大 可 能 出 现 前 
一 个 模型 中 出 现 测试 人 员 要 证 明 产 品 能 够 正常 运行 的 偏见 。 这 种 外 部 视角 会 导致 发 现 产 品 中 
的 更 多 缺陷 。 

3. 考虑 测试 所 需 的 不 同 技能 。 前 面 已 经 介绍 过 ， 测 试 工作 所 需 的 技能 与 开发 工作 所 需 的 
技能 有 很 大 不 同 。 这 种 模型 承认 这 种 技能 要 求 上 的 差别 ， 并 可 以 主动 地 应 对 。 

有 效 运 用 这 种 模型 有 几 点 必须 注意 。 首 先 ， 项 目 经 理 不 应 该 屈服 压力 ， 忽 视 测 试 团队 的 
发 现 和 建议 ， 发 布 没有 达到 测试 准则 的 产品 。 其 次 ， 项 目 经 理 必须 保证 开发 和 测试 团队 不 能 
相互 对 立 。 这 会 削弱 两 个 团队 之 间 的 协作 ， 最 终 影响 产品 的 进度 和 质量 。 最 后 ， 测 试 团队 必 
须 从 一 开始 就 参与 项 目 决策 ， 并 对 进度 作出 合适 的 安排 ， 以 免 他 们 “仓促 ”地 介入 项 目 ， 面 
对 不 现实 的 进度 要 求 和 预期 。 
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14.2.2 按 组 件 组 织 的 测试 团队 


即使 公司 只 生产 一 种 产品 ， 产 品 也 会 由 可 以 组 装 成 一 体 的 多 个 组 件 组 成 。 为 了 更 好 地 确 
定 责任 ,每 个 组 件 都 可 能 由 一 个 独立 的 团队 开发 和 测试 ， 所 有 组 件 由 向 项 目 经 理 报告 的 单个 
集成 测试 团队 进行 集成 。 每 个 组 件 团队 的 结构 可 以 是 融合 在 一 起 的 开发 一 测 试 团 队 (就 像 上 
面 的 第 一 种 模型 )， 也 可 以 是 将 测试 和 开发 责任 分 开 的 团队 。 这 是 因为 并 不 是 所 有 组 件 都 具有 
同样 的 复杂 性 ， 并 不 是 所 有 的 组 件 都 具有 同样 的 成 熟 度 。 因 此 ， 针 对 不 同 组 件 的 不 同 组 织 结 
构 的 非 正式 混合 匹配 ， 由 核心 权威 保证 总 体质 量 更 有 效 。 图 14-4 描 述 了 这 种 模型 。 





图 14-4 按 组 件 组 织 


14.3 多 产品 公司 的 结构 


当 公司 作为 单一 产品 公司 取得 成 功 后 ， 可 能 决定 开发 其 他 产品 。 在 这 种 情况 下 ， 每 个 产 
品 看 作 一 个 独立 的 业务 单元 ， 负 责 产品 的 所 有 活动 。 此 外 ， 与 以 前 一 样 ， 也 会 有 像 首席 技术 
官 这 样 的 通用 角色 。 

多 产品 公司 中 的 测试 团队 组 织 大 致 可 用 以 下 要 素描 述 。 

与 产品 联系 的 紧密 程度 取决 于 技术 如 果 不 同 的 产品 使 用 类 似 的 技术 ， 那 么 对 这 些 类 似 产 
品 的 测试 也 会 有 协作 。 例 如 ， 如 果 公 司 在 做 不 同 语言 的 编译 器 ， 则 有 可 能 把 测试 力量 分 散在 
多 个 编译 器 上 。 但 是 ， 如 果 公 司 产品 类 型 的 范围 很 宽 ， 像 操作 系统 或 数据 库 这 样 的 系统 软件 
产品 ， 到 像 工资 系统 这 样 的 应 用 软件 产品 ， 那 么 就 不 大 可 能 由 各 种 产品 共享 测试 资源 ， 因 为 
两 种 工作 所 要 求 的 技能 是 不 同 的 。 

不 同 产品 之 间 的 依赖 如 果 产 品 之 间 的 依赖 很 强 ， 则 产品 的 测试 也 要 紧密 结合 。 一 个 产品 
中 的 变化 会 对 其 他 产品 的 功能 产生 严重 影响 。 因 此 ， 测 试 团队 可 能 有 必要 在 不 同 产品 上 重 释 。 
至 少 需 要 一 个 全 公司 层次 的 测试 团队 ， 以 实施 不 同 相 关 产品 的 集成 测试 。 

产品 发 布 周期 的 同步 方式 如 果 不 同 产品 的 发 布 周期 是 同步 的 ， 则 意味 着 两 点 。 一 ， 产 品 
之 间 很 可 能 有 依赖 关系 ， 二， 很 可 能 同时 需要 测试 资源 。 这 看 起 来 是 矛盾 的 要 求 一 一 方面 
由 于 存在 依赖 关系 需要 测试 团队 具有 共性 (请 参阅 上 一 段 ) ， 另 一 方面 ， 由 于 不 同 产品 会 同时 
需要 测试 资源 ， 资 源 可 能 是 不 同 报告 结构 的 不 同 团队 的 一 部 分 。 

每 个 产品 的 客户 群 以 及 不 同 产品 客户 群 之 间 的 相似 性 由 于 测试 类 型 和 所 要 求 的 技能 在 很 
大 程度 上 取决 于 产品 的 性 质 ， 而 产品 的 性 质 又 是 由 客户 群 决定 的 ， 客 户 群 的 性 质 对 不 同 产品 
的 团队 是 否 相 同 有 影响 。 
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根据 以 上 因素 ， 多 产品 公司 在 组 织 测试 团队 方面 有 多 种 选择 : 
1. 一 个 集中 式 的 “智囊 团 ” 团 队 ， 负 责 制定 公司 的 测试 策略 。 
.一 个 测试 团队 负责 所 有 产品 。 

每 个 产品 (或 一 组 相关 产品 ) 对 应 一 个 不 同 的 测试 团队 。 

. 每 类 不 同 的 测试 对 应 不 同 的 测试 团队 。 

. 以 上 所 有 模型 的 混合 。 


MD 


mw 


14.3.1 测试 团队 作为 “首席 技术 官办 公 室 ” 的 一 部 分 


有 些 情况 下 ， 测 试 团队 在 产品 生存 周期 后 期 参与 ， 而 设计 和 开发 团队 在 初期 介入 。 但 是 
产品 的 可 测试 性 与 产品 开发 一 样 重要 (如果 不 是 更 重要 的 话 )。 因 此 ， 为 测试 分 派 与 开发 一 样 
的 重要 性 是 有 道理 的 。 做 到 这 一 点 的 一 种 方法 就 是 让 测试 团队 直接 向 首席 技术 官 报告 ， 与 设 
计 和 开发 团队 对 等 。 这 种 模型 带 来 的 直接 好 处 是 : 

1. 开发 可 测试 的 也 就 是 适合 测试 的 产品 体系 结构 。 例 如 ， 最 好 在 体系 结构 和 设计 阶段 描 
述 非 功能 测试 需求 。 通 过 把 测试 团队 和 首席 技术 官 联 系 起 来 ， 使 产品 设计 者 更 能 够 记 住 测试 
要 求 。 

2. 测试 团队 会 有 更 好 的 产品 和 技术 技能 。 这 些 技能 可 以 在 产品 生存 周期 中 积累 。 事 实 上 ， 
测试 团队 甚至 可 以 对 产品 和 技术 的 选择 作出 有 价值 的 贡献 。 

3. 测试 团队 可 以 清楚 地 理解 设计 和 体系 结构 所 针对 的 内 容 ， 并 相应 地 策划 测试 。 

4. 产品 开发 的 技术 路 线 图 和 测试 包 开 发 能 够 更 好 地 同步 。 

5. 对 于 多 产品 公司 ， 首 席 技术 官 的 团队 可 以 推广 和 优化 公司 内 各 种 产品 组 织 和 业务 单元 
的 测试 经 验 。 

6. 首席 技术 官 的 团队 可 以 制定 针对 测试 自动 化 的 一 致 、 有 效 的 策略 。 

7. 体系 结构 和 测试 的 责任 集中 到 首席 技术 官 一 个 人 身上 ， 体 系 结构 的 端 到 端 目 标 ， 例 如 
性 能 、 负 载 条 件 、 可 用 性 需求 等 ， 都 可 以 无 歧义 地 满 吓 和 预先 策划 。 

在 这 种 模型 中 ， 首 席 技术 官 只 负责 体系 结构 和 测试 团队 。 实 际 编写 产品 代码 的 开发 团队 
可 以 向 负责 代码 的 另 一 个 人 报告 ,这 样 可 以 保证 测试 团队 的 独立 性 。 

这 种 向 首席 技术 官 报告 的 小 组 解决 了 在 公司 层次 上 分 割 并 需要 主动 策划 的 问题 。 让 他 们 
向 首席 技术 官 报告 的 理由 是 ， 这 种 团队 可 能 是 跨 部 门 、 跨 工种 的 。 这 种 报告 结构 提高 了 团队 
的 可 信 性 和 权威 。 这 样 ， 他 们 的 决定 就 可 能 被 公司 的 其 他 部 门 更 顺利 地 接受 ， 提 的 问题 也 会 
更 少 ， 不 会 有 “这 种 决策 不 适合 我 的 产品 ， 因 为 是 其 他 人 作出 的 决策 ”这 样 的 反对 意见 。 

这 种 结构 还 能 解决 一 些 顶级 测试 工程 师 的 职业 发 展 道路 问题 。 人 们 常常 在 达到 测试 职业 
的 顶峰 后 产生 错觉 ， 认 为 要 再 向 前 发 展 必须 转 去 开发 。 而 在 这 种 模型 中 ， 测 试 角色 要 向 首席 
技术 官 报告 ， 具 有 高 度 可 视 性 ， 可 以 激励 测试 人 员 树 立 好 的 发 展 目标 。 

为 了 使 这 种 向 首席 技术 官 报告 的 团队 更 有 效 ， 应 该 注意 以 下 儿 点 : 

1. 团队 的 数量 要 少 ; 

2. 团队 之 间 要 平等 ， 最 多 也 只 能 有 很 少 的 层次 ， 

3. 应 该 是 全 公司 范围 内 的 团队 ， 

4. 应 该 有 决策 和 实施 权 ， 而 不 只 是 一 个 只 提 建 议 的 委员 会 ， 

5. 应 该 定期 进行 评审 ， 以 保证 团队 运转 与 所 制订 的 策略 一 致 。 


和 14 葛 测 不 国内 的 组 织 绪 攀 201 











14.3.2 针对 所 有 产品 的 单一 测试 团队 


在 多 产品 公司 中 也 可 以 使 用 单产 品 公司 的 单 测试 团队 模型 。 本 节 讨 论 了 组 织 测试 团队 的 
一 些 准 则 。 根 据 这 些 准 则 ， 如 果 产 品 之 间 的 界限 不 是 很 鲜明 ， 那 么 有 可 能 采用 面向 所 有 产品 
的 单一 测试 团队 模式 。 

这 种 模型 类 似 于 把 单产 品 团队 按 组 件 划 分 ， 每 个 组 件 由 一 个 独立 的 团队 开发 。 这 两 种 模 
型 之 间 的 主要 差别 是 ， 前 一 种 模型 的 测试 团队 要 向 项 目 经 理 报告 ,项 目 经 理 负 直接 的 交付 责 
任 ; 而 在 多 产品 公司 中 ， 由 于 不 同 小 组 和 个 人 对 不 同 的 产品 负责 交付 ， 因 此 测试 团队 必须 向 
不 同 层次 的 管理 人 员 报 告 。 这 有 两 种 可 能 

1. 单一 的 测试 团队 可 以 形成 “测试 业务 单元 "， 并 向 这 个 单元 报告 。 这 类 似 下 一 节 要 讨论 
的 “测试 服务 ”模型 。 | 

2. 测试 团队 可 以 向 前 面 讨论 过 的 “首席 技术 官 智 囊 团 ”报告 。 这 可 以 更 容易 地 落实 标准 
和 规程 ， 但 会 降低 首席 技术 官 智囊 团 的 功能 ， 使 其 降低 战略 性 ， 更 多 参与 操作 层面 的 工作 。 


14.3.3 按 产品 组 织 的 测试 团队 


在 多 产品 公司 中 ， 如 果 产 品 之 间 相 对 独立 ， 建 立 单一 的 测试 团队 会 不 太 自然 。 单 测试 团 
队 的 责任 、 决 策 和 进度 安排 都 会 成 为 问题 。 组 织 测 试 团队 的 最 自然 和 有 效 的 方法 是 把 一 个 产 
品 的 所 有 方面 的 全 部 责任 分 配给 对 应 的 业务 单元 ， 让 业务 单元 负责 人 策划 如 何 组 织 测试 和 开 
发 团队 。 这 非常 类 似 多 组 件 测试 团队 模型 。 

取决 于 产品 之 间 所 要 求 的 集成 层次 ， 可 能 需要 一 支 核心 集成 测试 团队 ， 负 责 处 理 所 有 多 
个 产品 的 集成 问题 。 这 种 集成 团队 应 该 跨 多 个 产品 ， 因 此 最 好 向 首席 技术 官 智囊 团 报告 。 


14.3.4 针对 不 同 测试 阶段 的 独立 测试 团队 


到 目前 为 止 , 把 “测试 ”看 作 是 一 种 单一 的 同类 活动 ， 但 是 在 现实 中 并 不 是 这 样 。 

。 我 们 看 到 ， 需 要 完成 不 同类 型 的 测试 ， 例 如 黑 盒 测试 、 系 统 测试 、 性 能 测试 、 集 成 测 

试 、 国 际 化 测试 等 。 

。 执行 这 些 不 同类 型 的 测试 需要 不 同 的 技能 。 例 如 ， 对 于 白 盒 测 试 ， 需 要 有 丰富 的 程序 

代码 和 程序 设计 语言 知识 ， 对 于 黑 盒 测试 ， 需 要 外 部 功能 的 知识 。 

。 每 种 不 同类 型 的 测试 会 在 不 同 的 时 间 点 上 实施 。 例 如 ， 在 国际 化 测试 中 ， 有 些 活 动 

(例如 使 能 测试 ) 要 在 生存 周期 的 初期 实施 ， 而 伪 语 言 测 试 要 在 产品 本 地 化 之 前 进行 。 

由 于 以 上 因素 ， 常 常 把 测试 工作 分 为 不 同 测试 类 型 和 阶段 。 由 于 不 同类 型 测试 的 性 质 不 
同 ， 负 责 具 体 类 型 测试 的 人 员 不 同 ， 执 行 不 同 测试 类 型 的 人 最 终 属于 不 同 的 小 组 。 表 14-1 给 
出 了 一 种 组 织 执 行 不 同类 型 测试 的 人 员 的 方法 。 

表 14-1 执行 不 同类 型 测试 的 人 员 组 织 


承担 测试 的 团队 


开发 团队 













测试 类 型 
白 盒 测试 





白 盒 测试 本 质 上 与 代码 很 接近 ，( 应 该 ) 由 开发 人 员 自 
己 编写 并 运行 测试 用 例 
这 是 产品 “外 部 测试 ”的 第 一 级 ， 因 此 非常 适合 测试 
团队 承担 ， 理 由 同上 










黑 盒 测试 测试 团队 
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( 续 ) 


测试 类 型 承担 测试 的 团队 理 由 


集成 测试 公司 级 测试 团队 集成 测试 需要 把 多 个 组 件 或 多 个 产品 组 装 在 一 起 。 因 
此 非常 适合 公司 级 测试 团队 承担 


系统 测试 产品 管理 或 产品 市 场 开发 团队 系统 测试 需要 在 真实 场景 下 测试 ， 因 此 与 确认 济 试 一 
样 ， 可 以 是 产品 管理 或 产品 市 场 开发 团队 工作 的 一 部 分 


性 能 测试 中 心 基准 小 组 (第 7 章 介绍 过 )， 性 能 测试 是 一 种 很 特殊 的 测试 ， 可 
能 与 基准 和 行业 标准 有 关 。 对 于 多 产品 公司 ， 还 会 有 影 
响 性 能 的 产品 之 间 的 依赖 关系 


确认 测试 产品 管理 或 产品 市 场 开发 团队 确认 测试 实际 上 是 客户 确认 的 一 种 代理 ， 因 此 由 产品 
管理 或 产品 市 场 开发 团队 实施 是 很 合适 的 


国际 化 测试 | 国际 化 团队 和 一 些 本 地 团队 国际 化 涉及 不 同 层次 的 测试 。( 第 9 章 讨论 过 )， 有 些 层 
次 的 测试 甚至 涉及 本 地 语言 和 习惯 的 知识 。 因 此 责任 应 
该 分 散 

回归 测试 所 有 测试 团队 有 些 回 归 测 试 也 作为 冒 烟 测试 的 一 部 分 ， 这 部 分 测试 
由 产品 测试 团队 完成 ， 公 司 必须 建立 在 测试 团队 之 间 交 
接 工 作 的 规程 


这 种 基于 测试 类 型 的 组 织 有 以 下 优点 : 

1. 有 合适 技能 的 人 员 参 加 特定 类 型 的 测试 。 

2. 可 以 更 好 、 更 及 时 地 检测 出 缺陷 。 

3. 这 种 组 织 与 V 字 模型 一 致 ， 因 此 能 够 更 有 效 地 分 配 测试 资源 。 

需要 注意 的 挑战 是 ， 测 试 责任 现在 被 分 散 了 ， 因 此 没有 一 个 统一 的 测试 责任 点 。 解 决 这 
个 问题 的 关键 ， 是 为 每 个 测试 阶段 或 小 组 客观 地 定义 指标 ， 并 跟踪 直到 结束 。 








14.3.5 混合 模型 


以 上 模型 并 不 是 相互 排斥 或 不 相交 的 。 在 实践 中 组 合 使 用 这 些 模型 ， 并 不 时 改变 所 选择 
的 模型 。 例 如 ， 在 临近 产品 交付 的 紧张 时 期 ， 多 个 组 件 测试 团队 可 以 作为 一 个 组 件 测试 团队 
运行 ， 当 调试 集成 多 个 产品 出 现 的 问题 时 ， 不 同 的 产品 团队 可 以 合成 一 个 团队 ， 在 这 个 期 间 
向 首席 技术 官 或 首席 执行 官 报告 。 可 以 把 以 上 介绍 的 各 种 组 织 结构 看 作 构 件 块 ， 可 以 根据 实 
际 需 要 ， 以 各 种 排列 组 合 方式 组 装 在 一 起 。 这 种 混合 组 织 结构 的 主要 目的 ， 是 在 责任 明确 前 
提 下 提高 有 效 性 。 


14.4 全 球 化 与 地 域 分 散 的 团队 对 产品 测试 的 影响 


14.4.1 全 球 化 的 业务 影响 


全 球 化 为 软件 产品 的 生产 和 维护 方式 带 来 了 革命 。 本 书 前 面 已 经 介绍 过 。 
1. 软件 产品 的 市 场 正 在 全 球 化 。 因 此 ， 软 件 在 全 球 各 地 的 生产 对 于 利用 本 地 条 件 是 很 有 


必要 的 。 
2. 由 于 市 场 是 全 球 化 的 ， 产 品 必须 满足 的 需要 呈 指 数 增长 。 因 此 ， 一 个 地 点 的 资源 不 可 
能 满足 所 有 需求 。 


3. 世界 上 的 多 个 国家 拥有 丰富 的 优秀 人 力 资源 ， 需 要 有 效 加 以 利用 。 
4. 很 多 国家 不 仅 有 丰富 的 优秀 人 力 资源 ， 还 有 成 本 优势 ， 使 他 们 具有 很 好 的 业务 竞争 优势 。 
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软件 产品 团队 分 散在 多 个 国家 的 现象 越 来 越 常见 ， 他 们 协同 工作 ， 开 发 测试 和 交付 单个 
产品 。 测 试 在 全 球 化 中 受益 很 大 ， 并 推动 最 大 限度 地 利用 全 球 化 的 潜力 。 这 方面 的 因素 包括 : 

1. 在 成 熟 的 公司 中 ， 测 试 已 经 完备 地 定义 为 一 种 过 程 ， 因 此 ， 只 要 经 过 过 程 方面 的 良好 
培训 ， 并 配备 必要 的 技术 基础 设施 ， 就 可 以 在 任何 地 方 的 团队 中 执行 。 

2. 当 测 试 的 自动 化 程度 很 低 时 ， 测 试 只 能 是 手工 过 程 ， 因 此 很 难 在 所 有 国家 找到 能 够 或 
愿意 承担 测试 工作 的 人 。 

3. 随 着 测试 自动 化 程度 的 提高 ， 自 动 化 开发 通常 是 与 要 发 布 产品 的 测试 并 行 的 一 种 活动 。 
这 种 程度 的 并 行 性 有 利于 利用 多 个 地 点 的 资源 。 

4. 测试 产品 的 较 老 版 本 被 认为 是 一 种 低 风险 的 活动 ， 但 是 对 于 支持 现 有 客户 是 必 不 可 少 
的 。 可 以 选择 成 本 低 的 地 点 完成 这 种 活动 。 

跨 多 个 地 点 的 分 布 式 测试 团队 大 致 有 两 种 组 织 机 构 ， 全 时 区 开发 /测试 团队 模型 和 测试 能 
力 中 心 的 模型 。 


14.4.2 全 时 区 开发 /测试 团队 模型 


推动 这 种 模型 的 主要 因素 有 : 
1. 开发 和 测试 是 交替 、 和 迭代 进行 的 ， 即 先进 行 代 码 开 发 ， 然 后 进行 测试 和 清除 人 缺陷。 这 
个 循环 一 直 持 续 到 通过 测试 认为 结束 。 由 于 开发 和 测试 交替 进行 ， 因 此 可 以 看 作 是 两 个 独立 


的 工作 单元 。 
2. 由 于 开发 和 测试 交替 进行 ， 因 此 可 以 在 一 天 中 的 一 个 时 段 进 行 开 发 ， 在 另 一 个 时 段 进 
行 测试 。 


3. 可 以 利用 不 同 地 点 的 地 理 时 差 “拓展 ”一 天 的 时 间 ， 因 此 可 以 利用 一 个 地 点 是 夜里 ， 
另 一 个 地 点 却 是 白天 这 一 点 有 效 地 进行 工作 。 

以 一 个 团队 的 一 部 分 在 美国 的 加 利 福 尼 亚 ， 另 一 部 分 在 印度 为 例 。 由 于 印度 和 加 利 福 尼 
亚 存 在 时 差 ， 当 加 利 福 尼 亚 是 白天 的 时 候 ， 在 印度 是 夜间 ， 当 印度 是 白天 的 时 候 ， 加 利 福 尼 
亚 是 夜间 。 如 果 把 开发 任务 分 配给 加 利 福 尼 亚 团 队 ， 把 测试 任务 分 配给 印度 团队 ， 那 么 两 个 
团队 的 工作 时 间 就 可 以 覆盖 24 小 时 ， 而 每 个 团队 并 不 连续 工作 24 小 时 。 图 14-5 给 出 了 这 种 典 
型 的 工作 流程 。 
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图 14-5 加利福尼亚 开发 团队 和 印度 测试 团队 之 间 的 工作 流程 
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1. 加 利 福 尼 亚 的 开发 人 员 从 当地 时 间 上 午 8 点 到 下 午 6 点 工作 ， 对 应 的 印度 时 间 是 晚上 8 点 
30 分 到 (次 日 的 ) 早晨 6 点 30 分 。 

2. 加 利 福 尼 亚 的 开发 团队 在 下 班 之 前 ， 把 最 新 的 软件 版 本 存 人 配置 管理 库 。 

3. 印度 的 测试 人 员 上 午 8 点 来 上 班 〈 此 时 是 加 利 福 尼 亚 前 一 日 的 晚上 7 点 30 分 ) ， 从 配置 管 
理 库 中 取出 最 新 软件 版 本 ， 运 行 任何 需要 运行 (并 能 够 运行 ) 的 测试 用 例 ， 把 发 现 的 问题 放 
入 缺陷 库 。 当 印度 的 测试 人 员 下 午 6 点 下 班 时 ， 是 加 利 福 尼 亚 的 早晨 5 点 30 分 。 开 发 人 员 已 经 
能 够 在 下 一 个 版 本 中 修改 那些 所 发 现 的 错误 ， 并 进入 次 日 的 下 一 个 周期 。 

在 上 面 的 模型 中 ， 差 不 多 把 时 间 利 用 到 了 极致 ， 一 天 24 小 时 中 只 有 大 约 三 个 小 时 没有 活 
动 。 这 种 模型 可 以 扩展 到 多 个 地 点 的 多 个 团队 ， 利 用 这 部 分 时 间 。 不 过 需要 注意 的 是 ， 通 信 
负担 是 否 能 够 抵消 充分 利用 时 间 带 来 的 效益 。 

对 于 以 下 情况 ， 这 种 模型 是 自然 和 有 效 的 : 

1. 测试 作为 一 种 过 程 已 经 完备 地 建立 ， 而 且 不 需要 测试 人 员 介 入 就 可 以 成 功 地 运行 测试 
用 例 。 

2. 不 管 是 白天 还 是 夜间 ， 任 何 时 间 在 两 个 团队 之 间 都 有 沟通 渠道 ， 以 便 一 个 团队 需要 另 
一 个 团队 作出 泣 清 时 ， 不 会 在 通信 上 浪费 时 间 。 

这 种 模型 一 般 适 合 产品 达到 一 定 的 成 熟 度 和 稳定 性 的 情况 。 在 产品 开发 的 早期 阶段 ， 代 
码 很 可 能 不 稳定 ， 因 此 测试 会 经 常 遇 到 影响 继续 进行 的 缺陷 。 也 就 是 说 ， 当 测试 团队 开设 测 
试 时 ， 会 很 早 就 发 现 使 测试 不 能 继续 进行 的 缺陷 。 例 如 ， 如 果 测 试 一 个 网 络 层 产品 ， 产 品 其 
至 不 能 建立 连接 ， 这 样 ， 像 错误 控制 、 流 量 控 制 等 进一步 测试 都 不 能 执行 ， 必 须 等 到 连接 缺 
陷 被 清除 才 可 以 继续 测试 。 在 这 种 情况 下 ， 开 发 团队 必须 立即 介入 ， 也 就 是 说 在 他 们 的 夜间 
工作 ， 这 样 就 失去 了 利用 地 理 时 差 的 意义 。 

解决 这 种 问题 的 一 种 常见 办 法 是 采用 一 种 “值班 ”系统 ， 在 两 地 团队 内 都 设置 24 小 时 值 
班 的 代表 。 即 使 这 样 ， 由 于 产品 不 稳定 引起 的 共同 开销 也 使 这 种 模型 不 适合 产品 周期 的 早期 
阶段 。 


14.4.3 测试 能 力 中 心 模型 


在 这 种 模型 中 ， 建 立 一 个 叫做 测试 能 力 中 心 的 逻辑 组 织 。 这 种 组 织 可 以 潜在 地 分 布 在 多 
个 地 点 ， 有 效 地 利用 时 差 和 可 以 得 到 的 技能 资源 。 这 种 中 心 具 有 很 高 的 测试 专业 性 ， 对 产品 
的 质量 和 发 布 最 终 期 限 有 最 终 发 言 权 。 这 种 测试 能 力 中 心 模型 有 两 种 变种 。 

在 第 一 种 变种 中 ， 中 心 是 一 种 共享 (并 且 常 常 也 是 稀有 ) 资源 ， 被 多 个 产品 开发 小 组 共 
享 。 前 面 介绍 过 ， 这 种 中 心 具 有 其 他 部 门 没 有 的 测试 能 力 ， 因 此 其 他 小 组 需要 其 服务 。 产 品 
开发 小 组 事先 “预约 ”测试 能 力 中 心 的 时 间 。 由 于 测试 能 力 中 心 具 有 很 高 的 技能 和 高 度 成 熟 
的 过 程 ， 管 理 层 对 他 们 的 建议 充分 认可 。 测 试 能 力 中 心 可 以 是 公司 内 部 的 ， 也 可 以 是 测试 领 
域 独立 的 外 部 公司 。 可 以 把 测试 能 力 中 心 看 作 一 种 “认证 权威 ”， 产 品 在 发 布 之 前 需要 得 到 其 
“祝福 ” 。 换 名 话说， 测试 能 力 中 心 的 认证 可 提高 对 产品 的 信心 。 这 种 模型 不 能 节省 成 本 ， 事 
实 上 可 能 还 很 昂贵 ， 因 为 测试 能 力 中 心 具有 专门 性 。 这 种 模型 没有 利用 时 区 优势 ， 中 心 的 位 
置 完全 取决 于 在 哪里 可 以 找到 高 级 测试 人 员 。 这 种 模型 既 可 以 用 于 产品 公司 ， 也 可 以 用 于 服 
务 公司 。 

测试 能 力 中 心 的 另 一 种 变种 是 拥有 一 组 专门 的 测试 队伍 ， 从 项 目的 早期 阶段 就 参与 全 周 
期 的 测试 活动 。 这 种 变种 一 般 遵 循 以 下 过 程 和 结构 : 
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1. 这 种 中 心 的 成 员 从 产品 概念 的 早期 阶段 就 开始 策划 测试 活动 ， 涉 及 产品 测试 的 所 有 活 
动 都 需要 这 个 中 心 的 成 员 参 加 。 请 注意 ， 在 这 种 模型 中 ， 中 心 本 身 的 地 理 位 置 并 不 重要 。 

2. 在 产品 功能 策划 和 发 布 时 ， 产 品 团队 和 来 自 测试 能 力 中 心 的 测试 团队 确定 被 测 产 品 的 
特性 并 指派 优先 级 ， 以 及 要 测试 特性 的 地 点 。 这 个 过 程 要 保证 最 重要 的 特性 得 到 优先 测试 ， 
恰当 地 点 的 恰当 资源 能 够 在 合适 的 时 间 测 试 恰当 的 软件 特性 。 

3. 被 测 特性 的 选择 和 对 不 同 地 点 测试 中 心 的 任务 分 配 有 以 下 几 点 需要 考虑 ; 

a) 使 用 类 似 特 性 的 过 去 经 验 ， 
b) 完成 该 工作 所 需 的 技能 ， 包 括 所 需 自动 化 工具 的 使 用 ， 
c) 是 否 有 硬件 和 软件 资源 (包括 当地 是 否 有 这 些 资 源 的 支持 ) 。 

4. 在 生存 周期 的 早期 ， 中 心 的 测试 团队 成 员 花 时 间 与 开发 团队 (如 果 有 必要 ， 还 包括 产 
品 管理 团队 ) 一 起 ， 理 解 被 分 配 测试 的 产品 特性 细节 。 此 时 ， 他 们 要 得 到 有 关 产 品 外 部 ， 必 
要 时 还 有 产品 内 部 功能 的 培训 。 这 构成 测试 策划 和 测试 用 例 设计 的 基础 。 

5. 这 样 ， 测 试用 例 设计 由 当地 测试 中 心 更 大 的 团队 转换 为 测试 用 例 。 他 们 还 执行 这 些 测 
试用 例 ， 验 证 测试 用 例 是 可 用 的 (符合 第 1 章 所 说 的 “首先 测试 测试 用 例 ” 格 言 )。 这 就 是 测 
试用 例 的 第 一 条 基线 。 

6. 如 果 产 品 相当 稳定 ， 那 么 测试 中 心 所 在 地 的 测试 团队 还 可 以 承担 随 着 代码 的 进展 需要 
做 的 重复 测试 。 如 果 产 品 不 够 稳定 ， 和 开发 团队 同 在 一 地 的 小 测试 团队 要 在 早期 阶段 执行 重 
复 测 试 。 

7. 测试 中 心 同时 还 要 承担 测试 用 例 自动 化 的 工作 ， 逐 渐 把 运行 自动 化 测试 作为 构建 软件 
版 本 的 一 部 分 工作 。 由 于 测试 是 自动 完成 的 ， 服 务 所 处 的 具体 位 置 并 不 重要 。 

第 二 种 变种 最 适合 由 于 要 增加 或 增强 新 特性 ， 产 品 的 版 本 经 常 需要 变更 的 情况 。 在 这 种 
变种 中 ， 由 于 中 心 关注 的 是 把 测试 作为 一 种 能 力 开 发 ， 因 此 与 本 章 稍 后 要 讨论 的 “测试 作为 
一 种 服务 ”的 模型 有 些 类 似 。 


14.4.4 全 球 团队 面临 的 挑战 


文化 挑战 不 管 全 球 团队 在 什么 时 候 一 起 工作 ， 文 化 和 语言 总 会 成 为 沟通 的 重要 障碍 。 没 
有 有 效 的 沟通 ， 开 发 和 测试 之 间 的 界限 只 能 加 宽 。 当 在 一 个 新 的 地 点 建立 测试 团队 时 ， 重 要 
的 是 两 地 的 团队 要 相互 尊重 对 方 的 文化 、 语 言 口 音 等 。 可 以 参考 以 下 办 法 : 

1. 策划 一 个 地 方 的 成 员 到 另 一 个 地 方 的 定期 出 差 。 测 试 提 供 了 策划 这 种 出 差 的 自然 方法 ， 
例如 确认 测试 、 多 地 点 开发 模块 的 集成 测试 、 被 测 新 产品 的 培训 等 。 从 长 远 观点 看 ， 把 这 种 
旅行 列 入 项 目 计 划 中 是 很 重要 的 ， 通 过 旅行 可 以 保证 测试 团队 成 员 能 够 体验 得 到 其 他 地 点 的 
文化 和 语言 。 

2. 定期 召开 视频 和 电话 会 议 。 

工作 地 点 挑战 当 团 队 分 散在 各 地 时 ， 重 要 的 是 要 有 明确 的 工作 分 配 政策 ， 所 有 团队 都 能 
一 致 地 理解 这 种 政策 。 不 能 产生 这 样 的 感觉 ， 所 有 的 “ 美 差 ”都 给 了 一 地 的 团队 ， 而 “ 音 差 * 
都 给 了 另外 一 地 的 团队 。 整 个 团队 都 必须 为 自己 的 工作 而 骄傲 。 只 有 这 样 轩 队 才能 工作 更 有 
效 ， 并 能 发 展 自己 ， 使 产品 获得 成 功 。 

团队 之 间 的 对 等 如 果 不 同 地 理 位 置 的 团队 承担 类 似 的 工作 ， 他 们 会 预期 得 到 补偿 和 奖励 
系统 规定 的 对 等 待遇 。“ 对 等 ”是 一 个 有 和 争议 的 词 。 首 先 ， 不同 地 点 的 团队 应 该 有 对 等 的 工作 
内 容 。 其 次 ， 团 队 应 该 在 所 有 权 、 权 威 性 、 委 派 性 和 自由 度 等 方面 对 等 。 最 后 ， 团 队 应 该 得 
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到 补偿 和 奖励 系统 规定 的 对 等 。 工 作 在 美国 的 人 得 到 的 是 美元 工资 ， 而 工作 在 印度 的 人 得 到 
的 是 印度 卢比 工资 ， 这 样 两 地 同 工 种 员工 工资 的 绝对 价值 是 不 同 的 。 由 于 两 个 国家 的 消费 水 
平和 经 济 状况 不 同 ， 这 种 差别 是 很 自然 的 ， 也 是 合理 的 。 但 是 ， 员 工 带 来 的 价值 可 能 是 不 同 
的 ， 这 可 能 会 激励 员工 在 有 更 高 奖金 补偿 的 国家 工作 (虽然 这 并 不 意味 着 一 切 ) 。 解 决 方案 就 
是 不 要 给 在 印度 的 员工 提供 美国 的 工资 ! 应 对 这 种 挑战 的 方法 包括 : 

1. 提供 具有 挑战 性 的 工作 内 容 ， 

2. 增加 测试 的 职业 发 展 机 会 ， 例 如 采用 能 力 中 心 的 模式 ， 

3. 提供 长 期 工作 激励 机 制 ， 例 如 股票 激励 机 制 ， 

4. 提供 旅行 机 会 。 

有 效 跟踪 的 能 力 当 团 队 分 散在 各 地 时 ， 跟 踪 其 工作 进展 变 得 很 困难 。 已 经 完全 没有 像 走 
廊 聊 天 这 样 的 内 部 交流 机 会 。 因 此 ， 跟 踪 机 制 必须 更 健壮 ， 较 少 依赖 人 。 提 高 跟踪 有 效 性 的 
方法 包括 : 

1. 制订 通信 交流 计划 ， 例 如 每 周 的 电话 会 议 ， 

2. 明确 的 任务 分 工 ; 

3. 一 致 地 理解 和 落实 报告 机 制 ， 

4. 尽 可 能 提高 跟踪 功能 的 自动 化 。 

对 通信 基础 设施 的 依赖 由 因特网 和 内 联网 组 成 的 通信 基础 设施 是 地 理 分 布 团队 的 生命 线 ， 
对 于 测试 人 员 每 天 都 要 提取 新 版 的 “全 时 区 ”模型 的 测试 团队 来 说 尤其 是 这 样 。 这 种 模型 必 
须 有 高 带宽 和 高 可 靠 性 的 通信 基础 设施 的 支持 。 通 信 技 术 已 经 相当 健壮 ， 这 方面 应 该 不 是 大 
问题 ， 重 要 的 是 要 有 替代 方案 ， 以 防备 万 一 由 于 某 种 原因 导致 链 路 中 断 。 降 低 这 种 风险 的 一 
种 方法 是 每 个 地 点 的 备份 和 镜像 网 站 。 这 样 做 成 本 可 能 很 高 。 另 一 种 方法 是 在 不 同 地 点 建立 
小 的 “在 线 ” 团 队 ， 需 要 时 可 作为 “离线 ”团队 的 代理 。 

时 差 在 分 布 式 工作 和 组 织 团队 的 不 同 模型 中 ， 时 差 通 常 是 一 种 优势 。 但 是 时 差 也 可 以 带 
来 一 些 挑战 。 例 如 ， 在 全 时 区 测试 模型 中 ， 当 印度 的 测试 人 员 发 现 一 个 影响 测试 继续 进行 的 缺 
陷 时 ， 不 得 不 在 开发 人 员 当 地 时 间 的 夜间 给 开发 人 员 打 电话 (假设 开发 人 员 在 美国 )。 如 果 找 
不 到 该 开发 人 员 ， 印度 测 试 人 员 的 那个 工作 日 就 完全 损失 了 。 此 外 ， 当 开发 人 员 解 决 该 问题 时 ， 
测试 人 员 也 应 该 可 以 随时 提供 帮助 ， 否 则 又 会 损失 12 小 时 ! 因此 ， 为 了 解决 一 个 问题 ,时差 吃 
掉 了 36 个 小 时 ， 而 对 于 单 场地 的 团队 来 说 ， 在 几 分 钟 内 就 可 以 解决 问题 。 有 效 利 用 时 差 的 关键 
是 建立 有 效 的 过 程 和 主动 的 质量 保证 (以 便 尽 可 能 降低 出 现 这 种 使 测试 不 能 继续 进行 的 缺陷 出 
现 的 可 能 性 )， 并 使 各 地 的 员工 进行 值班 ， 以 便 任何 时 间 任 何 地 点 都 可 以 有 人 联系 。 


14.5 测试 服务 公司 
14.5.1 测试 服务 的 业务 需求 


到 目前 为 止 所 讨论 的 大 部 分 测试 功能 都 隐 含 地 假设 测试 活动 是 公司 的 一 个 部 分 ， 与 产品 
的 生产 、 销 售 和 支持 一 样 。 但 是 ， 今 天 常常 把 测试 活动 外 包 给 专门 从 事 测试 并 提供 测试 服务 
的 外 部 公司 。 这 种 把 测试 作为 服务 的 模式 有 一 些 业务 上 的 原因 。 

1. 前 面 介绍 过 ， 测 试 正在 进一步 细 分 ， 越 来 越 专 门 化 。 

2. 测试 自动 化 工具 的 多 样 性 和 复杂 性 增加 了 对 测试 的 挑战 。 专 业 化 的 测试 服务 公司 可 以 
有 效 地 满足 这 种 专门 化 的 要 求 。 
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3. 测试 作为 一 种 过 程 正在 更 好 地 定义 ， 使 测试 (至少 一 些 测 试 阶段 和 测试 类 型 ) 更 适合 
外 包 。 

4. 在 理解 软件 领域 方面 有 经 验 的 产品 开发 公司 不 一 定 在 建立 和 运行 有 效 测 试 环境 上 也 有 
经 验 (特别 是 当 需 要 使 用 复杂 自动 化 工具 时 )。 

5. 外 包公 司 具有 地 域 优 势 。 在 讨论 多 场地 团队 时 提 到 过 ， 位 于 不 同时 区 的 测试 团队 可 以 
提供 更 好 的 全 时 区 覆盖 。 

6. 外 包公 司 具 有 成 本 优势 。 一 些 地 区 会 比 另外 一 些 地 区 更 经 济 ， 因 此 可 以 降低 总 成 本 。 
这 个 理由 适用 于 所 有 功能 的 外 包 (包括 开发 和 测试 )。 

因此 ， 测 试 作 为 一 种 服务 在 业界 已 经 得 到 普遍 接受 。 结 合 时 区 和 成 本 优势 ， 测 试 服务 一 
般 外 包 给 分 布 在 各 地 的 团队 。 


14.5.2 测试 作为 一 种 服务 与 产品 测试 公司 之 间 的 差别 


测试 服务 公司 中 的 组 织 结构 和 相关 的 人 员 问 题 受 一 些 基 本 因素 的 影响 。 

测试 服务 公司 一 般 与 产品 开发 人 员 保持 一 定 距离 在 典型 的 产品 开发 公司 中 (测试 是 其 一 
个 部 门 )， 开 发 和 测试 团队 之 间 有 很 紧密 的 联系 ， 因 为 员工 经 常 从 一 个 团队 调 到 另 一 个 团队 。 
不 仅 如 此 ， 测 试 团队 检查 产品 代码 时 也 没有 知识 产权 (IPR) 问题 。 当 测试 作为 一 种 服务 外 包 
给 外 部 公司 时 ， 外 包公 司 的 成 员 与 产品 开发 人 员 可 能 达 不 到 产品 公司 内 部 人 员 之 间 的 融洽 程 
度 。 如 果 外 包 团 队 在 不 同 地 点 工作 时 情况 更 是 如 此 ， 建 立 融洽 关系 的 机 会 更 少 。 产 品 代码 的 
知识 产权 对 于 远离 产品 开发 公司 的 测试 团队 也 成 为 一 个 问题 。 

测试 服务 公司 可 能 总 是 难以 实施 各 种 类 型 的 测试 大 多 数 测 试 服务 公司 都 提供 像 黑 盒 测试 、 
领域 测试 和 一 些 专 门 测试 ， 例 如 性 能 测试 或 测试 自动 化 。 遂 常 不 把 白 盒 测试 作为 外 包 的 一 种 
测试 类 型 。 白 盒 测 试 不 仅 由 于 前 面 提 到 的 知识 产权 问题 ， 而 且 由 于 开发 和 测试 团队 之 间 密 切 
协作 对 后 勤 支 持 有 很 高 的 要 求 ， 需 要 随时 同步 共享 配置 管理 系统 ， 以 及 对 代码 的 深入 知识 ， 
都 使 得 将 白 盒 测试 外 包 给 测试 服务 公司 变 得 很 困难 。 

测试 服务 公司 的 工作 岗位 和 角色 比 产品 公司 中 的 测试 团队 更 单一 在 典型 的 产品 公司 中 有 
各 种 工种 一 一 开发 、 维 护 、 测 试 、 支 持 等 。 由 于 测试 服务 公司 只 关注 测试 ， 因 此 角色 定义 和 
岗位 设置 更 单一 。 这 可 能 是 一 把 双 刃 剑 。 寻 求 工 作 经 验 多 元 化 (覆盖 软件 生存 周期 的 所 有 方 
面 ) 的 人 觉得 测试 服务 公司 从 长 远 看 没有 意思 。 另 一 方面 ， 通 常 被 错误 地 认为 测试 是 “没有 
意思 ”的 工作 ， 测 试 服务 公司 能 够 招募 到 对 测试 充满 激情 的 员工 ， 会 更 容易 为 其 提供 宽广 的 
职业 发 展 道路 。 表 14-2 归 纳 了 产品 测试 和 测试 作为 一 种 服务 之 间 的 主要 差别 。 


表 14-2 产品 测试 与 测试 作为 一 种 服务 之 间 的 差别 



























内 容 产品 测试 测试 作为 一 种 服务 
测试 类 别 必须 完成 所 有 类 型 的 测试 ， 因 为 整个 公司 可 以 专注 特定 类 型 的 测试 ， 例 如 
产品 的 责任 都 属于 公司 性 能 测试 或 国际 化 测试 
研究 代码 产品 测试 团队 可 能 要 更 深入 地 研究 产 一 般 ， 测 试 服务 公司 更 关注 产品 的 外 


部 功能 ， 因 此 不 再 对 共享 配置 管理 库 有 
很 高 的 同步 要 求 。 此 外 ， 因 为 知识 产权 
或 协议 方面 的 原因 ， 对 源 代码 的 开放 降 
低 到 最 低 限度 ， 或 不 需要 开放 
可 能 很 少 





品 代码 ， 特 别 是 白 盒 测 试 团队 












接触 开发 人 员 一 般 没有 问题 ， 因 为 他 们 属于 同一 公司 
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内 容 产品 测试 

职业 发 展 问题 由 于 公司 有 多 种 角色 和 工作 部 门 ， 可 
能 导致 测试 人 员 想 去 公司 内 的 其 他 部 门 
(例如 开发 部 门 )。 因 此 提供 专门 的 测试 
职业 发 展 道路 更 困难 

工具 的 多 样 性 整个 公司 可 能 (经 过 一 段 时 间 的 积累 ) 
对 相同 工具 作 了 标准 化 ， 因 此 通常 没有 
必要 在 多 个 工具 的 采购 和 培训 上 投资 

领域 专门 性 由 于 产品 一 般 集 中 在 特定 的 领域 ， 可 


以 更 灵活 地 招聘 和 培养 团队 内 部 的 领域 
专家 





14.5.3 测试 服务 公司 的 典型 角色 和 责任 


图 14-6 给 出 了 测试 服务 公司 的 典型 组 织 结构 。 测 试 服务 公司 由 多 个 部 门 组 成 ， 每 个 部 门 
负责 一 个 主要 客户 。 每 个 部 门 都 有 一 个 部 门 经 理 ， 他 是 客户 与 测试 服务 公司 的 唯一 接触 点 。 


部 门 经 理 有 以 下 作用 : 
1. 是 客户 和 测试 服务 公司 之 间 就 任何 问题 进行 交涉 的 唯一 接触 点 ， 也 是 扩展 点 。 


2. 建立 与 客户 的 密切 关系 ， 负 责 保证 按照 承诺 交付 当前 的 项 目 ， 并 从 客户 那里 得 到 新 
(重复 ) 的 业务 。 


( 续 ) 
测试 作为 一 种 服务 


由 于 整个 公司 都 完全 关注 测试 工作 ， 
因此 更 容易 向 员工 提供 测试 职业 发 展 道 
路 。 可 以 更 好 地 建立 和 把 握 对 未 来 的 预期 


测试 服务 公司 要 为 拥有 不 同 自 动 化 工 
其 的 多 个 客户 工作 ， 因 此 不 得 不 在 多 个 
工具 上 对 员工 进行 培训 和 投资 

由 于 测试 服务 公司 要 为 不 同 领域 内 的 
不 同 客户 工作 ， 公 司 要 么 聘请 具有 不 同 
领域 知识 的 员工 ， 要 么 培养 员工 具有 多 
个 领域 的 知识 


3. 参与 客户 和 测试 服务 公司 之 间 的 所 有 战略 (如果 必要 ， 还 包括 战术 的 ) 沟通 。 
4. 在 测试 服务 公司 内 部 起 客户 代理 的 作用 。 


客户 场地 






规模 小 
层次 少 

与 客户 沟通 ， 作 为 后 
备 力量 承担 紧急 工作 


图 14-6 测试 服务 公司 的 典型 
部 门 经 理 可 以 常 驻 与 客户 场地 很 接近 的 地 方 ， 也 可 以 在 测试 服务 公司 所 在 地 。 为 了 建立 


测试 服务 公司 


管理 近 地 和 远 地 团 队 与 客户 沟通 


管理 杂 务 


团队 规模 大 
需要 测试 经 理 、 负 责 人 和 工程 师 
与 近 地 团队 沟通 


组 织 结构 


密切 的 关系 ， 部 门 经 理 需 要 经 常 出 差 ， 与 客户 面对面 地 沟通 。 通 常 部 门 经 理 在 客户 公司 高 层 
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有 唯一 的 接触 点 ， 以 协调 部 门 的 多 个 项 目 。 

由 于 测试 服务 公司 与 客户 是 不 同 的 实体 ， 一 般 不 在 同一 个 地 点 。( 通 常 这 些 公司 都 在 具有 
更 有 竞争 力 的 成 本 结构 的 国家 中 。) 

测试 服务 团队 把 其 部 门 团队 组 织 为 近 地 团 队 和 远 地 团队 。 近 地 团队 通常 很 小 ， 常 驻 客 户 
场地 或 接近 客户 场地 。 近 地 团队 进行 以 下 工作 : 

1. 对 于 战术 或 紧急 问题 ， 与 客户 进行 交涉 的 第 一 直接 点 。 例 如 ， 如 果 需 要 快速 研究 系统 
以 了 解 测试 增 量 版 本 需要 的 内 容 ， 那 么 由 于 离 客户 很 近 ， 近 地 团队 就 可 以 完成 这 类 工作 。 

2. 当 出 现 不 能 出 差 、 基 础 设施 故障 等 紧急 情况 时 ， 可 作为 代表 远 地 团 队 的 中 转 站 。 

3. 还 可 以 密切 客户 的 执行 团队 和 测试 服务 团队 之 间 的 关系 。 

这 种 团队 通常 很 小 ， 没 有 必要 建立 经 理 一 工程 师 结构 。 

远 地 团队 常 驻 在 测试 服务 公司 所 在 地 。 远 地 团队 的 人 数 通常 较 多 ， 并 完成 主要 工作 。 远 
地 团队 的 组 织 取决 于 测试 项 目的 规模 和 复杂 度 。 远 地 团队 经 理 管理 整个 远 地 团 队 ， 与 近 地 团 
队 可 以 有 对 等 的 关系 ， 也 可 以 让 近 地 困 队 向 其 报告 。 根 据 需要 ， 远 地 团队 可 以 进一步 分 组 织 
层次 ， 因 为 测试 负责 人 和 测试 工程 师 与 上 一 章 讨论 过 的 角色 和 责任 相当 接近 。 

近 地 团 队 和 远 地 团 队 通 常 实行 轮换 制 。 例 如 ， 有 些 远 地 团 队 成 员 可 以 去 做 近 地 团 队 的 成 
员 。 如 果 测 试 服务 公司 所 在 的 国家 与 客户 所 在 的 国家 不 同 ， 就 有 了 出 差 机 会 一 一 这 也 是 保留 
人 才 的 一 种 常见 策略 。 此 外 ， 远 地 团队 成 员 可 能 要 定期 去 客户 所 在 地 进行 近 地 团 队 不 能 独立 
完成 的 现场 测试 和 类 似 的 活动 。 


14.5.4 测试 服务 公司 面临 的 挑战 与 问题 


所 有 测试 公司 都 面临 一 些 共同 的 挑战 。 对 于 承接 外 包 测 试 任务 的 测试 服务 公司 ， 有 些 挑 
战 更 为 突出 ， 这 主要 是 因为 与 开发 团队 有 一 定 的 距离 。 下 面 详细 讨论 这 些 挑战 ， 以 及 应 对 这 
些 挑 战 的 方法 。 

局 外 人 的 效应 与 资源 的 评估 

测试 服务 公司 对 开发 公司 来 说 是 “局 外 人 ”， 这 意味 着 : 

1. 他 们 不 必 像 产品 公司 内 部 的 测试 团队 那样 多 地 接触 到 产品 的 内 部 或 代码 。 

2. 他 们 不 能 接触 到 产品 的 历史 ， 例 如 哪些 模块 以 前 更 容易 出 现 问 题 ， 因 此 可 能 难以 得 到 
策划 并 确定 测试 用 例 优先 级 所 需 的 全 部 信息 。 

3. 他 们 不 必 像 内 部 测试 团队 那样 与 开发 团队 建立 密切 的 联系 。 

4. 内 部 开发 和 测试 团队 不 一 定 需 要 有 关 所 需 的 硬件 和 软件 的 资源 信息 ， 而 测试 服务 公司 
则 必须 估计 和 策划 硬件 和 软件 资源 。 

这 些 挑 战 使 测试 服务 公司 估计 进行 性 能 测试 所 需 的 资源 更 加 困难 。 对 这 些 问 题 没有 简单 
答案 ,但 是 服务 公司 肯定 需要 比 产 品 公司 更 周密 的 策划 和 跟踪 。 

领域 专门 知识 

产品 公司 中 的 测试 团队 可 以 在 具体 的 领域 积累 领域 专门 知识 。 例 如 ，ERP 软 件 公司 的 测 
试 团队 可 以 积累 有 关 ERP 领 域 的 专门 知识 。 公 司 可 以 聘请 几 个 领域 专家 (不 一 定 具有 计算 机 
方面 的 专业 知识 )， 他 们 能 够 帮助 测试 团队 。 这 些 专 家 会 发 现 加 入 产品 公司 很 有 意思 ， 因 为 他 
们 会 发 现 从 他 们 的 领域 到 (显然 ) 更 有 吸引 力 的 IT 领域 ， 是 很 自然 的 过 渡 。 例 如 ， 财 务 方面 
的 专家 可 以 很 自然 地 进入 IT 产品 公司 。 
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但 是 ， 测 试 服务 公司 却 可 能 要 承接 多 个 客户 的 项 目 。 由 于 测试 服务 公司 没有 什么 产品 拥 
有 权 ， 因 此 争取 领域 专家 加 入 测试 服务 公司 会 比较 困难 (但 是 测试 服务 公司 的 发 展 非常 迅速 ， 
领域 专家 可 以 看 到 职业 发 展 机 会 ， 因 此 这 个 弱点 正在 迅速 消失 。) 不 仅 如 此 ， 领 域 的 多 样 性 
使 这 个 问题 更 加 恶化 。 由 于 大 多 数 测试 服务 公司 都 执行 功能 测试 〔 黑 盒 测试 、 集 成 测试 、 确 
认 测试 等 )， 这 使 领域 专家 要 花 很 长 时 间 改 进 测 试 质量 。 产 品 公司 在 这 些 资源 上 有 更 强 的 竞 
争 力 。 

保密 与 客户 隔离 问题 

为 了 生存 ， 测 试 服务 公司 必须 为 多 个 客户 工作 。 当 公司 为 给 定 领域 (例如 医药 服务 或 财 
务 服务 ) 的 客户 工作 时 ， 不 仅 会 积累 一 般 的 专业 知识 ， 还 会 积累 特定 领域 的 专业 知识 。 公 司 
不 断 积累 领域 专业 知识 ， 在 向 同一 领域 的 其 他 公司 提供 测试 服务 时 就 有 了 竞争 优势 。 类 似 地 ， 
当 公司 积累 特定 自动 化 工具 的 专门 知识 时 ， 其 优势 可 以 显示 在 承接 使 用 相同 工具 的 其 他 公司 
的 测试 自动 化 项 目 。 但 是 ， 由 于 IT 与 大 多 数 业务 的 公司 级 战略 有 很 强 的 连 系 ， 因 此 任何 两 个 
客户 之 间 都 必须 画 出 清晰 的 界限 。 

出 现 这 种 主要 挑战 有 两 个 因素 。 第 一 ， 测 试 服务 公司 拥有 通用 基础 设施 ， 因 此 将 不 同 团 
队 物 理 地 隔离 开 来 是 很 困难 的 。 第 二 ， 员 工会 从 一 个 项 目 (客户 ) 转 到 另 一 个 项 目 。 当 出 现 
这 种 转移 时 ， 必 须 完全 保证 在 原 项 目 获得 的 与 客户 有 关 的 知识 不 被 带 到 另 一 个 项 目 中 。 同 时 ， 
测试 服务 公司 为 了 持续 改进 ， 所 学 到 的 内 容 要 提升 抽象 到 合适 的 层次 ， 同 时 又 不 能 损害 与 客 
户 有 关 信息 的 保密 性 。 

前 一 节 讨论 过 的 组 织 结构 可 以 解决 以 上 问题 。 首 先 ， 每 个 客户 都 可 以 作为 一 个 独立 的 实 
体 对 待 ， 每 个 客户 有 一 个 与 之 对 应 的 部 门 经 理 和 专门 的 团队 。 在 项 目 启动 时 ， 客 户 和 测试 服 
务 公司 要 签订 保密 协议 (NDA)。 这 种 保密 协议 提供 一 种 不 泄露 保密 信息 的 框架 。 在 有 些 情况 
下 ， 团 队 还 进行 了 场地 的 物理 分 离 。 其 次 ， 特 定 客户 的 客户 数据 也 要 隔离 和 保密 。 这 就 引出 
了 有 关 分 配 硬件 和 软件 资源 及 成 本 的 下 一 个 问题 。 

分 配 硬件 和 软件 资源 及 成 本 

当 测 试 服务 公司 投标 并 为 多 个 客户 工作 时 ， 需 要 使 用 内 部 硬件 和 软件 资源 。 有 些 资源 可 
以 直接 确定 ， 并 划 归 特定 的 团队 专用 。 有 些 资源 需要 多 个 项 目 复 用 。 例 如 ， 像 卫星 链 路 这 样 
的 通信 基础 设施 ， 像 电子 邮件 服务 器 这 样 的 通用 基础 设施 ， 以 及 物理 基础 设施 成 本 。 

必须 在 不 同 的 项 目 间 划分 成 本 ， 并 进行 项 目 成 本 核算 。 问 题 是 很 准确 定 每 个 项 目 应 该 分 
得 多 少 资源 。 

维持 “待命 队员 ” 

测试 服务 公司 应 该 总 有 人 员 准 备 部 团 到 突然 来 自 客户 的 新 项 目 中 。 此 外 ， 在 正式 投入 工 
作 之 前 ， 作 一 些 初步 研究 或 初步 演示 能 力 。 这 些 也 需要 技术 资源 。 有 时 客户 可 能 想 看 看 特定 
人 员 的 简历 ， 并 希望 从 测试 服务 公司 中 挑选 一 些 人 员 参 加 自己 的 测试 项 目 。 这 些 都 要 求 测试 
服务 公司 有 一 些 “ 待 命 队员 ”， 即 没有 分 配 到 任何 项 目 组 中 ， 随 时 准备 接手 新 项 目 ， 或 促使 客 
户 增强 信心 。 

板 爹 资源 (待命 队员 ) 是 没有 收入 的 ， 因 此 必须 分 捧 到 项 目 中 。 而 且 ， 待 命 人 员 通常 会 
有 失落 感 、 不 安全 感 ， 很 容易 产生 摩擦。 作为 策划 业务 流程 的 一 部 分 ， 要 估计 任何 时 候 待命 
人 员 的 数量 ， 即 板 爹 深 度 。 
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14.6 测试 公司 的 成 功 因 素 


不 论 是 产品 测试 公司 还 是 测试 服务 公司 ， 都 有 一 些 共 同 的 成 功 因 素 。 这 些 因素 包括 : 

沟通 与 团队 协作 第 1! 章 和 第 13 章 已 经 讨论 过 ， 测 试 团 队 和 开发 团队 应 该 有 协作 精神 ， 不 
应 该 相互 视 为 对 手 。 但 是 ， 由 于 测试 团队 的 工作 就 是 找 出 开发 团队 工作 中 的 缺陷 ， 因 此 培养 
这 种 协作 精神 并 不 容易 。 对 于 产品 公司 来 说 ， 培 养 团 队 协作 精神 的 一 种 方法 是 定期 轮换 工作 。 
测试 服务 公司 并 不 总 能 做 到 这 一 点 ， 他 们 与 开发 团队 有 一 定 的 隔离 。 团 队 之 间 应 该 有 很 多 的 
沟通 机 会 ， 有 些 沟通 是 在 非 工 作 环境 和 场景 下 进行 的 。 对 于 地 域 分 散 的 团队 来 说 ， 沟 通 和 团 
队 协 作 问 题 更 加 突出 ， 因 为 他 们 面对面 交互 的 机 会 很 少 。 

引入 客户 视角 测试 团队 应 该 发 挥 客户 代理 的 作用 。 这 要 求 逐 步 了 解 客户 的 视角 。 测 试 团 
队 如 何 了 解 客户 视角 ? 一 种 办 法 是 将 领域 专家 或 客户 代表 吸收 到 测试 团队 。 另 一 种 办 法 是 测 
试 人 员 和 客户 支持 人 员 轮 换 。 在 产品 公司 中 ， 客 户 支持 人 员 是 客户 报告 问题 的 接触 点 ， 他 们 
通常 熟悉 客户 所 面临 的 问题 ， 什 么 对 客户 的 影响 最 大 ， 客 户 可 以 接受 什么 。 让 客户 支持 人 员 
参加 设计 测试 用 例 或 执行 即兴 测试 (请 参阅 第 10 章 ) 可 以 增加 客户 视角 。 另 一 种 方法 是 测试 
困 队 ， 甚 至 开发 团队 与 产品 支持 人 员 轮 换 ， 以 便 了 解 客户 面临 的 第 一 手 信息 。 

提供 合适 的 工具 和 环境 为 了 提高 工作 的 有 效 性 ， 测 试 公司 必须 有 合适 的 支持 工具 。 两 种 
最 重要 的 工具 是 缺陷 库 和 配置 管理 工具 。 人 缺陷 库 用 于 跟踪 缺陷 直到 完成 。 前 面 已 经 讨论 过 ， 
配置 管理 工具 提供 团队 共享 软件 环境 的 机 制 ， 保 证 整个 团队 得 到 一 致 的 产品 源 代码 和 目标 代 
码 ， 以 及 其 他 相关 文件 。( 第 15 章 还 将 详细 介绍 这 些 工 具 。) 

提供 定期 技能 升级 测试 团队 需要 定期 升级 技能 ， 使 技能 保持 最 新 。 要 升级 的 技能 包括 

1. 领域 技能 ， 升 级 到 未 来 版 本 的 新 领域 或 新 特性 ; 

2. 技术 技能 ， 例 如 ， 新 语言 的 使 用 ， 

3. 自动 化 技能 ， 熟 悉 新 的 自动 化 工具 ， 

4. 软 技 能 ， 包 括 语 言 沟通 、 书 面 沟通 、 谈 判 能 力 ， 以 及 解决 矛盾 的 能 力 ， 以 更 好 地 进行 
沟通 。 
重要 的 是 在 团队 任务 进度 很 紧张 的 情况 下 找到 升级 技能 的 时 机 。 个 人 的 职业 发 展 计划 需 
要 安排 时 间 进 行 技能 升级 ， 否 则 ， 测 试 团队 的 有 效 性 会 逐渐 下 降 。 


问题 与 练习 


1. 当 公 司 从 单产 品 发 展 到 多 产品 时 ， 如 何 利 用 过 去 的 经 验 ? 
2. 对 于 以 下 情况 ， 开 发 和 测试 的 哪 类 工作 会 有 贡献 ? 
a. 使 用 了 要 求人 员 具 有 特殊 技能 的 最 新 技术 产品 ， 
b. 发 布 周 期 很 短 ， 版 本 频繁 更 新 的 产品 ， 
c. 同时 有 多 个 版 本 正在 使 用 的 产品 ， 
d. 在 已 经 稳定 的 现 有 特性 上 渐进 地 增加 新 特性 的 产品 ; 
e. 公司 的 开发 团队 交付 工作 产品 有 明确 的 交接 过 程 和 方法 的 产品 。 

3. 最 初 成 立 一 个 测试 小 组 ， 为 银行 的 内 部 “客户 ”( 应 用 程序 开发 人 员 ) 提供 测试 服务 。 不 入， 
测试 小 组 的 能 力 得 到 发 展 ， 成 为 为 其 他 银行 和 财务 团体 提供 测试 服务 的 独立 公司 。 请 列 出 
值得 这 个 新 公司 注意 的 组 织 结 构 和 业务 方面 的 挑战 ， 以 及 他 们 应 如 何 利 用 以 前 的 经 验 。 

4. 问题 2 中 的 哪 种 情况 最 适合 地 域 分 布 的 团队 ? 
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5. 某 个 公司 在 系统 和 应 用 程序 领域 有 多 个 产品 。 请 讨论 成 立 独 立 的 测试 团队 和 公共 测试 团队 
各 有 什么 优 缺 点 。 

6. 某 个 产品 有 九 个 月 的 发 布 周期 ， 然 后 是 十 个 月 的 维护 期 。 什 么 时 候 可 以 建立 地 域 分 布 的 测 
试 团 队 ? 在 什么 时 候 开展 什么 活动 ? 请 说 明 自 己 的 理由 。 

7. 以 下 哪 种 测试 活动 可 以 外 包 给 测试 服务 公司 ? 为 什么 ? 
a. 代码 覆盖 测试 
b. 性 能 测试 
c. 即兴 测试 
d. 集成 来 自 不 同 公司 的 多 个 产品 
e. 硬件 和 软件 的 集成 

8. 上 一 章 已 经 讨论 了 有 具体 的 人 员 问 题 。 对 于 多 团队 情况 ， 哪 些 人 员 问 题 会 增加 哪些 新 的 
挑战 ? 








本 书 这 一 部 分 将 讨论 测试 项 目的 策划 和 管理 。 第 15 章 将 讨论 测试 项 目的 公共 项 目 管理 问 
题 ， 包 括 策划 、 风 险 管理 、 估 计 、 跟 踪 和 报告 等 。 这 一 章 还 给 出 了 涉及 策划 和 执行 测试 项 目 
各 个 方面 的 检查 单 和 模板 。 第 16 章 将 讨论 测试 自动 化 工作 的 问题 、 挑 战 和 一 些 解决 方案 。 精 
心 策划 和 组 织 的 自动 化 是 解决 人 员 问 题 并 提高 团队 效率 的 关键 。 本 书 最 后 一 章 一 一 第 17 章 将 
讨论 与 跟踪 和 测试 项 目 改进 有 关 的 各 种 指标 。 这 些 度量 使 策划 和 自动 化 能 够 实现 组 织 中 的 有 
效 测试 。 
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15.1 5 引 谨 


本 章 将 研究 有 关 测 试 项 目 管理 的 一 些 问 题 。 项 目 管理 协会 CPMI-2004] 把 项 目 正式 定义 
为 “创建 某 种 特有 的 产品 或 服务 的 临时 性 工作 ” 。 这 意味 着 每 个 项 目 都 有 一 个 明确 的 开始 和 一 
个 明确 的 结束 ， 而 且 产 品 或 服务 能 够 以 某 种 方式 与 类 似 的 产品 或 服务 区 分 开 来 。 

测试 被 集成 到 创建 给 定 产品 或 服务 的 工作 中 ， 每 个 测试 阶段 和 测试 类 型 都 有 不 同 的 性 质 ， 
对 每 个 版 本 的 测试 内 容 也 可 能 不 同 。 因 此 ， 测 试 完全 符合 这 种 关于 项 目的 定义 。 

由 于 测试 本 身 就 可 以 看 作 是 一 种 项 目 ， 因 此 也 需要 策划 、 执 行 、 跟 踪 和 定期 报告 。 下 一 
池 将 讨论 测试 策划 问题 ， 然 后 讨论 推动 测试 项 目的 过 程 。 接 下 来 将 研究 测试 的 执行 和 在 测试 
项 目 期 间 需要 产生 的 各 种 类 型 的 报告 。 本 章 最 后 将 介绍 有 关 测试 管理 和 执行 的 最 佳 实践 。 


15.2 测试 策划 
15.2.1 准备 测试 计划 
与 任何 项 目 一 样 ， 测 试 也 要 由 计划 推动 。 测 试 计划 是 整个 测试 项 目的 执行 、 跟 踪 和 报告 





一 一 一 的 错 点 ， 它 包括 以 下 内 容 : 
划 3 1. 什么 需要 测试 一 测试 的 范围 ， 需 要 清晰 地 确定 要 测试 什 





么 ， 不 测试 什么 。 

2. 测试 应 该 如 何 实施 一 将 测试 分 解 为 小 的 可 管理 的 任务 ， 并 确定 完成 这 些 任务 要 采取 
的 措施 。 

3. 测试 需要 什么 资源 一 一 计算 机 和 人 力 资源 。 

4. 测试 活动 展开 的 时 间 线 。 

5. 所 有 以 上 计划 所 面临 的 风险 ， 以 及 合适 的 应 对 和 处 置 计划 。 


15.2.2 范围 管理 : 决定 要 测试 和 不 测试 的 特性 


前 面 已 经 介绍 过 ， 有 各 种 测试 团队 完成 不 同 测试 阶段 的 测试 工作 。 准 备 一 份 统一 的 测试 
计划 可 以 包含 所 有 阶段 和 所 有 团队 的 工作 ， 也 可 以 为 每 个 阶段 或 每 类 测试 准备 一 份 计划 。 例 
如 ， 需 要 有 单元 测试 、 集 成 测试 、 性 能 测试 、 确 认 测 试 等 的 计划 。 这 些 内 容 可 以 是 一 份 统一 
计划 的 一 部 分 ， 也 可 以 包含 在 多 份 计划 中 。 对 于 有 多 份 测试 计划 的 情况 ， 应 访 有 一 份 计划 包 
含 所 有 计划 的 公共 活动 。 这 种 计划 叫做 主 测试 计划 。 

范围 管理 要 描述 项 目的 范围 。 对 于 测试 项 目 ， 范 围 管理 包括 : 

1. 理解 哪些 内 容 构 成 产品 的 发 布 版 本 ， 

2. 将 发 布 版 本 分 解 为 特性 ， 

3. 确定 特性 测试 的 优先 级 ， 
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4. 确定 哪些 特性 要 测试 ， 哪 些 不 测试 ， 

5. 收集 数据 ， 准 备 估计 测试 资源 。 

最 好 从 确定 项 目的 最 终 目标 或 产品 发 布 版 本 视角 开始 ， 获 得 整个 产品 的 完整 图 像 ， 以 确 
定 测试 的 范围 和 优先 级 。 通 常 ， 在 发 布 版 本 的 策划 阶段 要 确定 构成 发 布 版 本 的 特性 。 例 如 ， 
仓库 控制 系统 的 某 个 特定 发 布 版 本 可 能 引入 新 特性 ， 以 自动 集成 供应 链 管 理 ， 并 向 用 户 提供 
各 种 成 本 核算 选项 。 测 试 团队 应 该 在 策划 周期 的 初期 参与 策划 并 了 解 特性 。 了 解 特性 并 从 使 
用 视角 进行 理解 ， 使 测试 团队 能 够 确定 测试 的 优先 级 。 

选择 并 确定 待 测 特 性 的 优先 级 有 以 下 考虑 因素 : 

新 特性 和 对 发 布 版 本 至 关 重要 的 特性 发 布 版 本 的 新 特性 确立 了 客户 的 预期 ， 必 须 能 够 正 
常 运行 。 这 些 新 特性 会 引入 新 的 程序 代码 ， 因 此 更 容易 引入 和 发 生 缺 陷 。 不 仅 如 此 ， 这 些 新 
特性 很 可 能 对 于 开发 和 测试 团队 来 说 都 有 个 熟悉 的 过 程 。 因 此 ， 把 这 些 特 性 放 在 优先 测试 的 
位 置 上 是 合理 的 ， 这 可 以 保证 这 些 关键 特性 有 足够 的 策划 和 学 习 时 间 进 行 测试 ， 不 会 出 现 测 
试 不 充分 的 现象 。 为 此 ， 产 品 营销 团队 和 一 些 经 过 选择 的 客户 应 参与 被 测 特性 的 选择 。 

失效 会 造成 严重 后 果 的 特性 不 管 特性 是 否 新 创建 ， 其 失效 有 可 能 产生 严重 后 果 ， 或 对 商 
业 拓 展 带 来 负面 影响 的 特性 ， 都 应 该 重点 测试 。 例 如 ， 数 据 库 的 恢复 机 制 总 应 该 列 为 重点 测 
试 的 特性 。 | 

有 可 能 测试 起 来 很 复杂 的 特性 测试 团队 的 尽早 参与 有 助 于 确定 很 难 测 试 的 特性 。 这 有 助 
于 尽早 开展 对 这 些 特性 的 测试 工作 ， 并 留 出 足够 的 资源 。 

对 以 前 容易 出 现 错误 的 特性 的 扩展 特性 第 8 章 已 经 介绍 过 ， 有 些 区 域 的 代码 很 容易 出 现 缺 
陷 ， 需 要 彻底 测试 ， 以 防老 的 缺陷 再 次 蔓延 。 这 些 容易 出 现 缺陷 的 特性 应 该 在 更 稳定 的 特性 
之 前 进行 测试 。 

产品 不 只 是 这 些 特性 的 混合 ， 它 们 要 根据 多 种 环境 因素 和 执行 条 件 ， 以 各 种 组 合 协同 运 
行 。 测 试 计划 应 该 清晰 地 确定 要 测试 的 这 些 组 合 。 

由 于 资源 和 时 间 的 限制 ， 很 可 能 不 能 穷尽 地 测试 所 有 的 组 合 。 在 策划 时 ， 测 试 经 理 还 应 
该 精心 确定 不 测试 的 特性 或 特性 组 合 。 作 出 这 种 决定 时 要 综合 考虑 时 间 和 资源 需求 ， 同 时 又 
不 会 使 严重 缺陷 暴露 给 客户 。 因 此 ， 测 试 计 划 应 该 就 不 测试 特定 特性 组 合 的 理由 ， 以 及 不 测 
试 所 面临 的 风险 作出 明确 的 分 析 。 


15.2.3 确定 测试 方法 和 策略 


一 旦 有 了 带 优先 级 的 被 测 特 性 表 ， 下 一 步 就 是 深入 分 析 需 要 测试 的 细节 ， 估 计 规 模 、 工 
作 量 和 进度 ， 包 括 确定 : 

1. 测试 各 个 功能 要 使 用 什么 测试 类 型 ? 

2. 测试 特性 需要 什么 配置 或 场景 ? 

3. 采用 什么 样 的 集成 测试 以 保证 这 些 特性 能 够 协调 运行 ? 

4. 需要 怎样 的 本 地 化 确认 ? 

5. 需要 作 什 么 “ 非 功 能 ”测试 ? 

本 书 前 面 各 章 已 经 讨论 了 各 种 测试 类 型 ， 每 种 类 型 测试 的 适用 性 和 作用 都 有 一 定 的 条 件 。 
测试 计划 中 测试 方法 和 策略 部 分 需要 确定 合适 的 测试 类 型 ， 以 有 效 地 测试 给 定 特性 或 特性 组 合 。 

测试 策略 和 方法 的 确定 应 该 导致 确定 每 个 特性 或 特性 组 合 的 合适 的 测试 类 型 。 此 外 还 应 
该 确定 度量 测试 是 否 成 功 的 客观 准则 ， 下 一 节 将 详细 讨论 。 
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15.2.4 确定 测试 准则 


前 面 已 经 讨论 过 (特别 是 有 关系 统 和 确认 测试 的 几 章 )， 各 个 测试 阶段 都 必须 有 明确 的 进 
入 和 退出 准则 。 各 种 特性 和 特性 组 合 的 测试 策略 确定 应 该 如 何 对 其 进行 测试 。 在 理性 情况 下 ， 
必须 尽早 进行 测试 ， 以 最 大 限度 地 降低 开发 拖延 后 给 执行 测试 带 来 的 巨大 压力 (请 参阅 以 下 
“风险 管理 ”一 节 )。 但 是 ， 过 早 进 行 测试 是 没有 用 的 。 测 试 的 进入 准则 描述 每 个 测试 阶段 或 
类 型 的 门槛 准则 。 整 个 测试 活动 的 开始 也 可 以 有 进入 准则 。 完 成 /退出 准则 描述 什么 时 候 测 试 
周期 或 测试 活动 可 以 结束 。 如 果 没 有 客观 的 退出 准则 ， 测 试 就 有 可 能 继续 下 去 ， 超 过 最 佳 回 
报 点 。 

测试 周期 和 测试 活动 不 是 一 次 就 能 完成 的 、 孤 立 的 持续 活动 ， 可 能 会 在 某 个 时 间 点 上 挂 
起 ， 因 为 不 能 再 继续 进行 。 如 果 能 够 继续 进行 ， 就 必须 接着 测试 。 挂 起 准则 描述 什么 时 候 被 
挂 起 的 测试 可 以 接着 执行 。 一 些 典 型 的 挂 起 准则 包括 : 

1. 遇 到 超过 一 定数 量 的 缺陷 ， 使 测试 活动 频繁 中 断 ; 

2. 遇 到 使 测试 不 能 继续 进行 的 严重 问题 (例如 ， 如 果 数 据 库 不 能 启动 ， 像 查询 、 数 据 操 
作 等 这 样 的 进一步 测试 根本 无 法 执行 ) ， 

3. 开发 人 员 提 供 了 新 版 本 ， 和 希望 用 其 替代 正在 测试 的 版 本 〈 由 于 修改 了 某 些 严重 缺陷 ) 。 

当 这 些 问 题 都 解决 后 就 可 以 继续 测试 。 


15.2.5 确定 责任 、 人 员 和 培训 计划 


范围 管理 确定 要 测试 什么 ， 测 试 策略 确定 如 何 测 试 ， 测 试 计划 的 下 一 个 问题 是 谁 参 与 测 
试 。 确 定 责任 、 人 员 和 培训 需求 就 是 要 回答 这 个 问题 。 

测试 项 目 需要 不 同 的 人 起 不 同 的 作用 。 前 两 章 已 经 讨论 过 ， 测 试 项 目的 角色 包括 测试 工 
程 师 、 测 试 负责 人 和 测试 经 理 。 在 被 测 模块 和 测试 类 型 上 也 有 角色 定义 。 这 些 角 色 要 彼此 具 
有 互补 性 。 不 同 的 角色 定义 应 该 : 

1. 保证 给 定 任务 都 有 明确 的 职责 定义 ， 使 每 个 人 都 知道 自己 要 做 什么 ， 

2. 明确 列 出 各 类 人 员 在 各 种 工作 中 的 职责 ， 使 每 个 人 都 知道 自己 的 工作 在 整个 项 目 中 的 
作用 ， 

3. 彼此 要 有 互补 性 ， 不 能 相互 影响 ， 

4. 彼此 补充 ， 分 配 所 有 的 任务 。 

角色 定义 不 能 只 限于 技术 角色 ， 还 应 该 列 出 管理 和 报告 责任 ， 包 括 频 度 、 格 式 和 状态 报 
告 的 接受 者 ， 以 及 其 他 项 目 跟踪 机 制 。 此 外 ， 在 策划 阶段 还 应 该 以 查询 服务 等 级 约定 的 形式 
描述 相应 的 责任 。 

要 根据 所 涉及 的 工作 量 和 发 布 前 还 剩 下 的 时 间 分 配 人 员 。 为 了 保证 恰当 的 任务 都 被 完成 ， 
要 根据 工作 量 、 时 间 和 重要 性 确定 特性 和 任务 的 优先 级 。 

为 任务 分 配 人 员 时 ， 要 尽 可 能 兼顾 任务 需求 和 完成 该 任务 所 需 的 经 验 和 技能 ， 并 不 总 能 
在 需求 和 可 利用 的 技能 之 间 找 到 完美 的 契合 ， 这 样 就 需要 制定 合适 的 培训 计划 。 重 要 的 是 要 
事先 展开 培训 程序 ， 因 为 在 项 目 进度 的 压力 下 ， 培 训 往往 排 不 到 日 程 上 。 


15.2.6 确定 资源 需求 
作为 测试 项 目 策划 的 一 部 分 ， 项 目 经 理 (或 测试 经 理 ) 要 对 所 需 的 各 种 硬件 和 软件 资源 
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进行 估计 。 估 计时 需要 考虑 以 下 因素 : 

1. 运行 被 测 产 品 所 需 的 机 器 配置 (RAM、 处 理 器 、 硬 盘 等 ) 。 

2. 如 果 有 测试 自动 化 工具 的 话 ， 工 具 所 需 的 开销 。 

3. 诸如 编译 器 、 测 试 数据 生成 器 、 配 置 管理 工具 这 类 的 支持 工具 。 

4. 必须 提供 的 支持 软件 (例如 操作 系统 ) 的 不 同 配置 。 

5. 执行 机 器 密集 型 测试 ， 如 负载 测试 和 性 能 测试 所 必须 满足 的 特殊 需求 。 

6. 所 有 软件 的 合适 数量 的 使 用 许可 证 。 

除了 以 上 因素 ， 还 有 一 些 需 要 满足 的 隐 含 环境 需求 ， 包 括 机 房 空间 、 支 持 工作 (例如 人 
力 资源 ) 等 。 

对 这 些 资源 估计 不 足 会 严重 影响 测试 工作 的 进展 ， 会 拖延 产品 发 布 时 间 ， 还 会 影响 测试 
团队 的 积极 性 。 但是， 如 果 在 估计 这 些 资源 上 过 于 保守 和 “保险 ”， 很 容易 产生 不 必要 的 开销 。 
对 这 些 资 源 的 恰当 估计 需要 不 同 小 组 ， 包 括 产 品 开 发 团队 、 测 试 团队 和 系统 管理 团队 及 高 层 
管理 之 间 的 团队 协作 。 


15.2.7 确定 测试 的 可 交付 产品 


测试 计划 还 要 确定 测试 周期 或 活动 产生 的 可 交付 产品 。 可 交付 产品 包括 以 下 内 容 ， 所 有 
这 些 产 品 都 要 经 过 合适 人 员 的 评审 和 批准 : 

1. 测试 计划 本 身 〈 主 测试 计划 、 项 目的 各 种 其 他 测试 计划 ) 。 

2. 测试 用 例 设计 规格 说 明 。 

3. 测试 用 例 ， 包 括 在 计划 中 描述 了 的 自动 化 。 

4. 运行 测试 用 例 产 生 的 日 志 记录 。 

5. 测试 总 结 报告 。 

下 一 节 将 要 看 到 ， 缺 陷 库 给 出 产品 生命 周期 内 报告 的 缺陷 状态 。 测 试 周期 内 的 一 部 分 可 
交付 产品 要 保证 缺陷 库 始 终 保 持 正确 ， 包 括 在 缺陷 库 中 输入 的 新 缺陷 和 验证 缺陷 修改 后 的 状 
态 更 新 。 本 章 稍 后 还 要 介绍 这 些 可 交付 产品 的 内 容 。 


15.2.8 测试 任务 : 规模 与 工作 量 估计 


以 上 确定 的 范围 大 致 确定 了 需要 测试 的 内 容 。 这 些 内 容 要 在 估计 步骤 中 量化 。 估 计 大 致 
分 三 个 阶段 : 

1. 规模 估计 

2. 工作 量 估计 

3. 进度 估计 

本 节 讨 论 规 模 和 工作 量 估计 ， 下 一 节 讨 论 进度 估计 。 

规模 估计 量化 需要 完成 的 实际 测试 量 。 测 试 项 目的 规模 估计 有 多 个 影响 因素 。 

被 测 产品 的 规模 这 显然 决定 需要 完成 的 测试 量 。 一 般 来 说 ， 产 品 越 大 ， 测 试 的 规模 越 大 。 
被 测 产 品 的 一 些 度量 包括 : 

1. 代码 行 数 (LOC) 是 一 种 有 些 争议 的 度量 ， 因 为 代码 行 数 依赖 语言 、 程 序 设 计 风 格 、 
程序 设计 的 紧凑 性 等 。 不 仅 如 此 ， 代 码 行 数 只 表示 编码 阶段 的 规模 估计 ， 不 能 表示 其 他 阶段 ， 
例如 需求 、 设 计 等 的 估计 。 尽 管 有 这 些 局 限 性 ， 代 码 行 数 仍然 是 一 种 估计 规模 的 常见 度量 。 

2. 功能 点 (FP) 是 估计 应 用 程序 规模 的 流行 方法 。 功 能 点 表示 应 用 程序 的 规模 ， 与 程序 
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设计 语言 无 关 。 应 用 程序 的 特性 (又 叫做 功能 ) 按 输入 、 输 出 、 接 口 、 外 部 数据 文件 和 查询 
分 类 。 这 些 功 能 的 复杂 性 逐次 升 高 ， 因 此 权重 也 逐次 升 高 。 功 能 的 加 权 平 均 (每 种 类 型 的 功 
能 数 乘 以 该 功能 类 型 的 权重 ) 得 到 规模 或 复杂 度 的 初始 估计 。 此 外 ， 估 计 规 模 的 功能 点 方法 
论 还 提供 了 14 个 环境 因素 ， 例 如 分 布 式 处 理 、 事 务 处 理 率 等 。 

这 种 应 用 程序 的 规模 或 复杂 度 估计 方法 论 是 综合 性 的 ， 考 虑 了 各 种 现实 因素 。 这 种 方法 
的 主要 挑战 是 需要 正式 的 培训 ， 并 且 不 易 使 用 。 不 仅 如 此 ， 这 种 方法 还 不 直接 适合 系统 软件 
类 型 的 项 目 。 

3. 表示 应 用 程序 规模 的 一 种 比较 简单 的 办 法 是 屏幕 数 、 报 表 数 或 事务 数 。 这 些 数 据 可 以 
进一步 细 分 为 “简单 “中 等 ”或 “复杂 "。 这 种 分 类 可 以 根据 直观 要 素 ， 例 如 屏幕 上 的 字段 
数 、 要 完成 的 确认 数 等 确定 。 

所 需 的 自动 化 范围 涉及 自动 化 时 ， 测 试 需要 增加 的 工作 规模 。 因 为 自动 化 需要 首先 进行 
基本 的 测试 用 例 设计 (运用 条 件 覆 盖 、 边 界 值 分 析 、 等 价 类 划分 等 技术 确定 输入 数据 和 预期 
结果 )， 然 后 通过 测试 自动 化 工具 的 程序 设计 语言 将 其 脚本 化 。 

要 测试 的 平台 和 互 操作 环境 的 数量 如 果 要 在 多 个 不 同 的 环境 或 配置 下 测试 特定 产品 ， 那 
么 测试 任务 的 规模 就 会 增加 。 事 实 上 ， 随 着 平台 数量 或 跨 不 同 环境 的 接触 点 的 增加 ， 测 试 量 
几乎 呈 指 数 增长 。 

以 上 规模 估计 考虑 的 都 是 “常规 ”测试 用 例 开发 ， 回 归 测 试 〈 请 参阅 第 8 章 ) 的 规模 估计 
需要 考虑 产品 变更 和 其 他 类 似 因 素 。 

为 了 更 好 地 进行 规模 估计 ， 要 完成 的 工作 可 分 解 为 叫做 工作 分 解 结 构 (WBS) 单元 的 可 
管理 的 较 小 部 分 。 对 于 测试 项 目 ， 工 作 分 解 结构 单元 一 般 是 给 定 模 块 的 测试 用 例 等 。 这 种 分 
解 将 问题 域 或 产品 划分 为 较为 简单 的 部 分 ， 可 以 降低 不 确定 性 ， 减 少 未 知 因素 。 

规模 估计 可 以 采用 以 下 任何 形式 表述 : 

1. 测试 用 例 数 

2. 测试 场景 数 

3. 要 测试 的 配置 数 

规模 估计 是 对 测试 要 覆盖 的 实际 工作 面 的 估计 ， 是 工作 量 估计 的 主要 输入 。 工 作 量 估计 
很 重要 ， 因 为 工作 量 对 成 本 的 影响 往往 比 规模 更 直接 。 影 响 工作 量 估计 的 其 他 因素 还 有 : 

生产 率 数 据 生产 率 指 各 种 测试 活动 的 完成 速度 ， 其 基础 是 公司 内 部 可 以 得 到 的 历史 数据 。 
生产 率 数 据 可 以 进一步 分 解 为 每 天 (或 某 个 单位 时 间 ) 可 以 开发 的 测试 用 例 数量 、 每 天 可 以 
运行 的 测试 用 例 数量 、 每 天 可 以 测试 的 文档 页 数 等 。 有 了 这 些 细 粒度 的 生产 率 数 据 就 可 以 更 
好 地 进行 策划 ， 并 提高 估计 的 可 信 水 平和 准确 性 。 

重用 机 会 如 果 在 设计 测试 体系 结构 时 考虑 了 重用 问题 ， 那 么 覆盖 给 定 测 试 规模 所 需 的 工 
作 量 可 以 压缩 。 例 如 ， 如 果 所 设计 的 测试 用 例 能 够 重用 以 前 的 测试 用 例 ， 那 么 测试 开发 的 工 
作 量 就 会 下 降 。 

过 程 的 健壮 性 重用 是 公司 过 程 成 熟 性 的 一 个 具体 例子 。 拥 有 定义 良好 的 过 程 从 长 远 看 会 
减少 完成 任何 活动 所 需 的 工作 量 。 例 如 ， 如 果 某 个 公司 的 过 程 成 熟 性 较 高 ， 就 会 拥有 : 

1. 针对 编写 测试 规格 说 明 、 测 试 脚本 等 的 形成 规范 文档 的 标准 ; 

2. 针对 完成 评审 、 审 计 等 活动 的 经 过 实践 检验 是 很 有 效 的 过 程 ; 

3. 一 致 的 人 员 培 训 方法 ; 

4. 度量 遵循 过 程 有 效 性 的 客观 方法 。 
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所 有 这 些 都 可 以 减少 重复 工作 ， 从 而 降低 所 需 的 工作 量 。 

通过 把 各 个 工作 分 解 结构 单元 分 成 “可 重用 ”、“ 修 改 ” 和 “新 开发 ”三 大 类 来 估计 规模 ， 
再 进行 工作 量 估计 。 例 如 ， 如 果 有 些 测试 用 例 可 以 重用 现 有 的 测试 用 例 ， 那 么 开发 这 些 测试 
用 例 所 需 的 工作 量 就 接近 0。 另 一 方面 ， 如 果 需 要 从 头 开发 测试 用 例 ， 那 么 工作 量 估 计 就 假设 
为 测试 用 例 规模 除 以 生产 率 就 是 合理 的 。 

工作 量 估计 以 人 天 、 人 月 或 人 年 的 形式 给 出 。 然 后 再 把 工作 量 估 计 转 换 为 进度 估计 。 下 
一 市 将 讨论 进度 估计 间 题 。 


15.2.9 活动 分 解 与 进度 估计 


活动 分 解 和 进度 估计 将 所 需 的 工作 量 转换 为 具体 的 时 间 帧 。 这 种 转换 包含 以 下 步骤 : 

1. 确定 活动 之 间 的 外 部 和 内 部 依赖 关系 ， 

2. 根据 预期 所 需 的 工期 和 依赖 关系 确定 活动 的 完成 顺序 ; 

3. 根据 以 上 两 个 因素 确定 每 个 工作 分 解 结构 活动 所 需 的 时 间 ， 

4. 监视 项 目 实际 时 间 和 工作 量 的 耗费 情况 ; 

5. 必要 时 重新 协调 进度 和 资源 。 

在 进行 工作 量 估计 时 ， 已 经 确定 了 每 个 工作 分 解 结 构 单 元 所 需 的 工作 量 ， 并 考虑 了 重用 
因素 。 工 作 量 采用 人 月 的 形式 表示 。 如 果 特 定 工作 分 解 结构 单元 所 需 的 工作 量 估计 是 40 人 月 ， 
则 不 能 用 “人 ” 换 “ 月 "”， 即 不 能 无 限制 地 增加 人 手 ， 并 预期 成 比例 地 缩短 所 需 时 间 。 正 如 
[BROO-74] 所 讨论 过 的 ， 在 一 个 已 经 拖延 了 的 项 目 中 增加 人 手 肯 定 会 造成 进一步 拖延 ! 因为 
在 项 目 中 增加 新 人 会 增加 沟通 负担 ， 新 成 员 需 要 时 间 与 团队 已 有 成 员 进行 磨合 。 不 仅 如 此 ， 
这 些 工作 分 解 结构 单元 不 能 以 随机 顺序 执行 ， 因 为 在 这 些 活动 之 间 有 依赖 关系 。 这 些 依赖 关 
系 可 以 是 外 部 的 ， 也 可 能 是 内 部 的 。 活 动 的 外 部 依赖 关系 不 受 执 行 该 活动 的 经 理 和 员工 的 控 
制 。 一 些 常 见 的 外 部 依赖 关系 包括 : 

1. 开发 人 员 是 否 按 时 提交 产品 ; 

2. 招聘 ， 

3. 培训 ， 

4. 培训 所 需 的 硬件 和 软件 资源 的 获取 ， 

5. 是 否 有 供 测 试 的 经 过 转换 的 消息 文件 。 

内 部 依赖 关系 完全 受 执行 该 活动 的 经 理 和 员工 的 控制 。 一 些 常 见 的 内 部 依赖 关系 包括 : 

1. 测试 规格 说 明 的 完成 ， 

2. 测试 用 例 的 编码 和 脚本 化 ， 

3. 测试 的 执行 。 

测试 活动 也 会 面临 并 行 性 的 约束 ， 这 进一步 限制 了 可 以 同时 开展 的 活动 。 例 如 ， 由 于 条 
件 冲 突 (例如 需要 不 同 版 本 的 被 测 组 件 ) 或 需要 在 多 个 测试 之 间 复 用 高 端 设 备 ， 有 些 测试 用 
例 不 能 执行 。 

根据 依赖 关系 和 可 能 的 并 行 性 ， 可 以 顺序 地 排列 测试 活动 ， 这 有 助 于 在 最 短 的 时 间 内 完 
成 这 些 活动 ， 同 时 又 考虑 到 所 有 依赖 关系 。 这 种 进度 可 以 采用 如 图 15-1 所 示 的 甘 特 图 表示 。 
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图 15-1 甘 特 图 


15.2.10 沟通 管理 


沟通 管理 包括 制订 并 遵循 沟通 规程 ， 保 证 每 个 人 都 在 合适 的 细节 层次 上 保持 同步 。 由 于 
同步 与 测试 执行 和 测试 项 目的 进展 密切 相关 ， 因 此 ， 我 们 将 在 15.3 节 讨论 测试 周期 内 的 各 种 
类 型 的 报告 时 详细 介绍 。 


15.2.11 风险 管理 


与 所 有 项 目 一 样 ， 测 试 项 目 也 会 面临 风险 。 风 险 是 会 潜在 地 影响 项 目 结果 的 事件 。 这 些 
事件 通常 超出 项 目 经 理 的 控制 。 如 图 15-2 所 示 ， 风 险 管理 需要 : 

1. 确定 可 能 的 风险 ， 

2. 对 风险 进行 量化 ， 

3. 策划 如 何 缓解 风险 ， 

4. 风险 真 的 出 现时 的 应 对 措施 。 





图 15-2 风险 管理 的 要 素 
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随 着 一 些 风险 的 确定 和 解决 ， 其 他 风险 又 可 能 出 现 。 因 此 ， 随 着 风险 的 不 断 出 现 ， 风 险 
管理 实际 上 是 一 种 循环 ， 重 复 地 执行 以 上 给 出 的 四 个 步骤 。 

风险 确定 要 确定 项 目 可 能 产生 的 风险 。 虽 然 项 目 可 能 有 很 多 的 潜在 风险 ， 但 是 风险 确定 
应 该 关注 更 有 可 能 发 生 的 风险 。 以 下 是 确定 测试 风险 的 常见 方法 : 

1. 使 用 检查 单 经 过 一 定时 间 的 积累 ， 公 司 在 测试 中 会 有 一 些 新 发 现 ， 归 纳 成 检查 单 。 例 
如 ， 如 果 在 安装 测试 中 发 现 安装 的 特定 步骤 经 常 出 现 问题 ， 那 么 在 检查 单 中 可 明确 列 出 要 检 
查 该 问题 。 如 果 把 检查 单 用 于 风险 确定 ， 检 查 单 本 身 也 会 有 会 过 时 的 很 大 风险 ， 因 此 ， 确 定 
的 不 是 真正 的 风险 。 

2. 利用 公司 的 历史 和 指标 如 果 公司 收集 并 分 析 各 种 指标 (请 参阅 第 17 章 ) ， 那 么 这 些 信 
息 对 确定 项 目 可 能 出 现 的 风险 很 有 价值 。 例 如 ， 过 去 的 测试 工作 量 估计 偏差 可 以 说 明 需 要 为 
策划 出 现 问题 的 可 能 性 有 多 大 。 

3. 整个 行业 的 非 正式 网 络 整个 行业 的 非 正式 网 络 有 助 于 确定 其 他 公司 已 经 遇 到 过 的 风险 。 

风险 量化 是 以 数字 的 形式 描述 风险 。 风 险 量化 有 两 个 要 素 ， 一 是 风险 发 生 的 可 能 性 ， 二 
是 风险 的 发 生 带 来 的 影响 。 例 如 ， 低 优先 级 的 缺陷 可 能 有 很 高 的 可 能 性 ， 但 是 影响 很 小 。 但 
是 影响 程序 正常 进行 的 缺陷 的 可 能 性 很 小 〈 但 愿 如 此 ! ) ， 但 是 影响 很 大 (对 于 客户 和 提供 商 
公司 来 说 都 是 如 此 )。 为 了 用 一 个 数字 表示 这 两 个 要 素 ， 通 常 采用 风险 指数 。 风 险 指数 定义 为 
风险 可 能 性 和 风险 影响 的 乘积 。 为 了 便于 比较 ， 风 险 影 响 采 用 人 金额 的 方式 表示 (例如 以 美元 
为 单位 ) 。 

风险 缓解 策划 确定 如 果 风 险 出 现 的 应 对 风险 事件 的 替代 策略 。 例 如 ， 缓 解 风险 的 一 些 替 
代 策略 是 让 多 个 人 共享 知识 和 建立 公司 级 的 过 程 和 标准 。 为 了 更 好 地 准备 应 对 风险 带 来 的 影 
响 ， 最 好 能 有 多 种 缓解 策略 。 

如 果 及 时 系统 化 地 完成 以 上 三 个 步骤 ， 即 使 风险 真 的 出 现 ， 公 司 也 会 在 应 对 风险 方面 处 
于 更 有 利 的 位 置 。 如 果 没 有 对 这 些 步骤 给 予 足够 重视 ， 项 目 组 就 会 发 现 自己 处 于 很 大 的 风险 
压力 下 。 在 这 种 情况 下 ， 所 作出 的 决策 可 能 不 是 最 优 的 ， 或 不 是 审慎 的 ， 因 为 决策 是 在 很 大 
压力 下 作出 的 。 

以 下 是 一 些 测试 项 目的 常见 风险 和 特性 。 

不 明确 的 需求 测试 的 成 功 在 很 大 程度 上 取决 于 对 被 测 产 品 的 正确 预期 行为 的 了 解 。 如 果 
产品 要 满足 的 需求 没有 在 文档 中 明确 ， 对 测试 结果 的 解释 就 存在 模糊 性 。 这 可 能 导致 报告 错 
误 的 缺陷 ， 或 遗漏 真正 的 缺陷 。 这 反 过 来 又 会 导致 开发 和 测试 团队 之 间 不 必要 的 沟通 浪费 ， 
从 而 损失 时 间 。 降 低 这 种 风险 的 一 种 办 法 就 是 保证 测试 团队 预先 参与 需求 阶段 。 

进度 依赖 性 测试 团队 的 进度 在 很 大 程度 上 取决 于 开发 团队 的 进度 。 因 此 ， 测 试 团 队 很 难 
列 出 在 什么 时 间 需 要 什么 资源 。 如 果 测 试 团 队 被 多 个 产品 共用 ， 或 在 测试 服务 公司 中 (请 参 
阅 第 14 章 )， 那 么 这 种 风险 的 影响 会 更 大 。 应 对 这 种 风险 的 一 种 可 能 的 策略 是 确定 测试 资源 的 
后 备 项 目 。 这 种 后 备 项 目 可 以 使 用 额外 的 资源 加 速 活动 的 执行 ， 但是， 如果 没 有 资源 也 不 会 
有 太 大 的 影响 。 例 如 ， 加 速 测试 自动 化 的 工作 就 可 作为 后 备 项 目 。 

测试 时 间 不 足 本 书 通 篇 都 强调 了 不 同类 型 的 测试 和 不 同 的 测试 阶段 。 尽 管 有 些 类 型 的 测 
试 ， 例 如 白 盒 测试 ， 可 以 在 生命 周期 的 早期 进行 ， 但 是 大 部 分 测试 一 般 还 是 要 在 接近 产品 发 
布 的 时 候 实施 。 例 如 ， 系 统 测试 和 性 能 测试 只 能 在 整个 产品 完成 后 ， 并 接近 发 布 的 时 候 进 行 。 
通常 这 些 测试 很 耗费 测试 团队 的 资源 ， 而 且 所 发 现 的 缺陷 也 是 开发 人 员 比 较 难 改 的 。 在 讨论 
性 能 测试 时 已 经 提 到 过 ， 修 改 这 类 缺陷 可 能 需要 变更 体系 结构 和 设计 。 作 这 样 的 变更 成 本 很 


222 条 五 部 分 测 不 管理 与 自动 化 





高 ， 甚 至 不 可 能 。 开 发 人 员 修 改 了 这 样 的 缺陷 后 ， 测 试 团 队 完成 测试 的 时 间 更 少 ， 面 临 的 压 
力 更 大 。 采 用 V 字 模型 至 少 把 各 种 类 型 测试 的 测试 设计 部 分 提前 到 项 目的 较 早 阶段 ， 有 助 于 更 
好 地 预测 各 个 层次 上 的 测试 失败 风险 ， 这 反 过 来 又 可 以 降低 最 后 时 刻 的 压力 。 如 果 计 算 合适 ， 
“发 布 产品 所 需 时 间 ” (参见 第 17 章 ) 这 个 指标 可 有 助 于 更 好 地 策划 所 需 的 时 间 。 

“影响 测试 继续 进行 ”的 缺陷 测试 团队 报告 问题 后 ， 开 发 团队 必须 进行 修改 。 有 些 影 响 测 
试 继续 进行 的 缺陷 可 能 使 测试 团队 在 开发 团队 修改 之 前 不 能 继续 测试 。 遇 到 这 类 缺陷 会 对 测 
试 团队 带 来 双重 影响 : 首先 ， 测 试 团队 不 能 继续 测试 ， 因 此 造成 空 阅 。 其 次 ， 当 缺陷 修改 后 
测试 团队 重新 开始 测试 时 ， 他 们 已 损失 了 宝贵 的 时 间 ， 并 面临 最 终 期 限 迫 近 的 巨大 压力 。 这 
种 影响 测试 继续 进行 的 缺陷 的 风险 会 对 测试 团队 的 进度 安排 和 资源 利用 带 来 很 大 挑战 。 这 种 
风险 的 缓解 措施 与 关于 对 开发 进度 依赖 的 风险 缓解 措施 相同 。 | 

测试 人 员 的 技能 和 测试 积极 性 第 13 章 已 经 介绍 过 ， 聘 用 和 激励 测试 人 员 是 很 大 的 挑战 。 
测试 人 员 的 聘用 、 保 留 和 技能 的 不 断 提高 对 于 公司 是 至 关 重 要 的 ， 尤 其 是 当 员工 一 般 都 更 喜 
欢 从 事 开发 工作 时 。 

不 能 获得 测试 自动 化 工具 手工 测试 很 容易 出 错 ， 且 占用 大 量 人 力 。 第 16 章 讨论 的 测试 自 
动 化 可 以 缓解 一 部 分 问题 。 但 是 ， 测 试 自动 化 工具 很 昂贵 ， 公 司 可 能 面临 买 不 起 测试 自动 化 
工具 的 风险 。 这 种 风险 反 过 来 又 导致 测试 的 低 效 和 更 多 矛盾 。 这 类 公司 减低 这 种 风险 可 以 采 
用 的 一 种 方法 是 自行 开发 工具 。 但 是 这 种 方法 会 引入 甚至 出 现 更 大 的 风险 ， 因 为 工具 的 开发 
或 文档 的 编写 质量 不 高 。 

这 些 风险 不 仅 有 单独 出 现 的 危险 ， 甚 至 还 有 可 能 多 种 风险 接连 出 现 的 危险 。 遗 憾 的 是 ， 
这 些 风险 往往 确实 接连 出 现 ! 测试 小 组 依据 开发 进度 制订 自己 的 进度 ， 一 旦 开发 进度 出 现 变 
更 ， 测 试 团队 的 资源 就 会 出 现 空闲 时 间 ， 压 力 就 会 积累 ， 测 试 进度 也 需要 变更 ， 于 是 恶性 特 
环 开始 出 现 。 重 要 的 是 要 尽早 或 在 风险 对 测试 团队 产生 严重 影响 之 前 ， 确 定 这 些 风险 。 因 此 ， 
我 们 需要 确定 每 种 风险 的 征兆 。 需 要 在 整个 项 目 期 间 密 切 跟 踪 这 些 征兆 及 其 影响 。 

表 15-1 给 出 了 典型 的 风险 、 风 险 征兆 、 影 响 和 缓解 应 对 计划 。 


表 15-1 典型 的 风险 、 征 兆 、 影 响 和 缓解 计划 















风 险 征兆 缓解 应 对 计划 
开发 延迟 。 各 个 模块 的 编码 工作 进 |。 测试 能 利用 的 时 间 更 少 | 。 测试 团队 不 断 参 加 开发 
度 经 常 调整 延迟 。 推 迟 产品 发 布 时 间 计划 的 制订 


。 定 期 、 及 时 的 沟通 

。 按照 Y 字 模型 〈 请 参阅 
第 2 章 ) 调整 测试 活动 
制订 产品 能 够 提交 测试 





出 现 影响 测试 继续 上 。 








测试 工 | 








浪费 /闲置 测试 资源 上 














进行 的 缺陷 复 进行 。 当 和 缺陷 修改 后 测试 恢复 | ”的 开发 退出 准则 
进行 时 ， 给 测试 团队 带 | 。 在 等 待 时 安排 测试 团队 
来 压力 完成 其 他 工作 
。 有 可 能 进度 推迟 
需求 不 清楚 。 产 品 通过 所 有 内 部 测试 | 。 从 需求 获取 开始 进行 返 | 。 用 户 和 产品 营销 团队 尽 











后 客户 发 现 缺陷 





局 恬 
， 由 于 产品 不 能 满足 需求 
造成 客户 不 满 





早 参与 原型 开发 ， 以 更 
好 明确 需求 


。 定 义 明确 的 确认 准则 
。 需 求 的 严格 批准 程序 
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( 续 ) 





















缓解 应 对 计划 
测试 没有 足够 时 间 。 测试 工程 师 经 常 加 班 "缺陷 漏网 ， 被 客户 发 现 |。 把 测试 活动 分 散 到 整个 
。 花 在 测试 上 的 时 间 在 整 |。 测试 团队 内 部 出 现 矛 盾 产品 生命 周期 
个 产品 生命 周期 中 所 占 。 测试 活动 自动 化 
比例 很 小 。 尽 早 使 所 有 相关 各 方 对 
时 间 进 度 达成 共识 








测试 过 于 保守 








。 报告 无 关 紧 要 的 缺陷 
。 测试 团队 成 为 产品 发 布 
的 瓶颈 
。 不断 有 人 和 希望 从 测试 部 
门 调 到 其 他 部 门 〈 例 如 
开发 部 门 ) 

。 与 其 他 团队 相 比 ， 开 发 
团队 内 的 矛盾 更 多 


。 测 试 资源 没有 产生 很 好 
的 效果 





。 制订 客观 的 测试 退出 准则 














缺少 高 素质 的 测试 
人 员 










。 测试 质量 差 ， 有 很 多 缺 | 。 定期 培训 提高 技能 
陷 漏网 ， 被 客户 发 现 *。 展现 测试 的 职业 发 展 道 

。 使 测试 困 队 的 信誉 受到 路 并 树立 角色 典型 
损害 。 在 开发 、 测 试 和 支持 团 

队 之 间 实 行人 员 轮 换 制 




















缺少 自动 化 工具 。 手工 测 试 耗 时 太 长 。 手工 测 试 浪费 人 力 。 展示 使 用 自动 化 测试 工 
。 造成 测试 工程 师 不 满 有 具 获得 成 功 的 案例 


15.3 测试 管理 


前 一 节 已 经 把 测试 本 身 作为 一 种 项 目 对 待 ， 并 讨论 了 测试 中 的 一 些 典 型 项 目 管理 问题 。 
本 市 将 讨论 策划 测试 项 目 应 该 考虑 的 一 些 问题 。 这 些 策划 工作 是 对 所 有 测试 项 目 都 有 全 面 影 
响 的 主动 手段 。 


15.3.1 标准 的 选择 


在 任何 公司 中 标准 都 是 策划 的 一 个 主要 组 成 部 分 。 标 准 有 两 类 ， 一 是 外 部 标准 ， 二 是 内 
部 标准 。 外 部 标准 是 产品 应 该 遵循 的 标准 ， 是 外 部 都 知道 的 ， 通 常 是 由 外 部 团体 规定 的 。 从 
测试 的 角度 看 ， 这 些 标准 包括 由 外 部 团体 提供 的 标准 测试 和 客户 提供 的 确认 测试 。 符 合 外 部 
标准 通常 是 外 部 团体 强制 要 求 的 。 

内 部 标准 是 测试 公司 制订 的 标准 ， 用 于 提高 工作 的 一 致 性 和 可 预测 性 。 内 部 标准 规范 公 
司 内 部 的 工作 过 程 和 方法 。 这 些 内 部 标准 包括 ; 

1. 测试 工作 产品 的 命名 和 保管 规定 ; 

2. 文档 编写 标准 

3. 测试 编程 标准 ; 

4. 测试 报告 编写 标准 。 
测试 工作 产品 的 命名 和 保管 规定 每 种 测试 工作 产品 (测试 规格 说 明 、 测 试用 例 、 测 试 结 
果 等 ) 都 应 该 恰当 地 命名 ， 并 有 一 定 的 含义 。 这 种 命名 规则 应 保证 : 

1. 能 够 很 容易 地 确定 一 组 测试 用 例 所 对 应 的 产品 功能 ， 

2. 能 够 反 向 ， 以 确定 产品 功能 对 应 的 测试 用 例 。 
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举 一 个 说 明 命 名 规则 使 用 的 例子 。 请 考虑 由 模块 M01、M02 和 和 M03 组 成 的 某 个 产 
品 P。 测 试 包 可 以 命名 为 PM01lnnnn.< 文 件 类 型 >。 其 中 的 nnnn 可 以 是 运行 序列 号 或 任 
何其 他 字符 事 。 对 于 一 个 给 定 的 测试 ， 可 能 需要 不 同 的 文件 。 例 如 ,给 定 测 试 可 能 
要 使 用 测试 脚本 (描述 要 执行 的 具体 操作 的 细节 )、 和 键盘 输入 记录 文件 、 预 期 结果 文 
件 。 此 外 ， 还 需要 其 他 支持 文件 (例如 数据 库 的 SQL 脚本 ) 。 所 有 这 些 相 关 文 件 都 有 
相同 的 文件 名 (例如 PMOlnnnn) 和 不 同 的 文件 类 型 (例如 .sh、.SQL、 .KEY、.OUT)， 
通过 这 种 命名 规则 ， 人 们 可 以 找到 : 

。 与 特定 测试 有 关 的 所 有 文件 (例如 查找 所 有 文件 名 为 PMOlnnnn 的 文件 ) ; 

。 与 给 定 模块 有 关 的 所 有 测试 (例如 以 PM01 开 头 的 文件 对 应 模块 MO1 的 测试 ) 。 

这 样 ， 当 对 应 模块 MO1 的 功能 变更 后 ， 很 容易 找到 这 些 必 须 修 改 或 删除 的 测试 。 








通过 恰当 的 命名 规则 实现 的 测试 用 例 和 产品 功能 之 间 的 双向 映射 ， 使 得 当 产品 的 功能 发 
生变 更 时 ， 能 够 很 容易 地 找到 需要 修改 并 运行 的 对 应 的 测试 用 例 。 

除了 文件 命名 规则 ， 标 准 还 可 能 规定 调试 的 目录 结构 规则 。 这 种 目录 结构 可 以 把 逻辑 相 
关 的 测试 用 例 组 织 在 一 起 (以 及 相关 的 产品 功能 )。 这 些 目录 结构 要 映射 到 配置 管理 库 中 (本 
章 稍 后 要 讨论 )。 

文档 编写 标准 有 关 文 档 编 写 和 编码 标准 的 大 部 分 讨论 针对 的 都 是 自动 化 测试 。 对 于 手工 
测试 ， 文 档 需 要 规范 在 与 测试 人 员 技 能 水 平一 致 的 细节 层次 上 对 用 户 和 系统 响应 的 描述 。 

命名 和 目录 标准 描述 测试 实体 如 何 对 外 表示 ， 而 文档 标准 描述 在 测试 脚本 本 身 内 部 如 何 
获取 关于 测试 的 信息 。 测 试 脚本 的 内 部 信息 与 程序 代码 的 内 部 文档 类 似 ， 应 当 包 括 : 

1. 文件 开头 部 分 的 恰当 概述 ， 描 述 测 试 的 作用 。 

2. 分 散在 整个 文件 中 的 充分 的 行 间 注释 ， 解 释 测 试 脚本 每 个 部 分 的 作用 。 对 于 测试 脚本 
中 很 难 理解 的 部 分 或 有 多 层 迭 代 和 循环 的 部 分 ， 行 间 注 释 尤 其 重要 。 

3. 一 直到 当前 的 历史 信息 ， 描 述 对 该 测试 文件 所 作 的 所 有 修改 。 

没有 这 样 的 详细 文档 维护 测 试 脚本 的 员工 就 只 能 依靠 实际 代码 或 脚本 ， 猜 测 该 测试 的 
设计 意图 ， 以 及 对 该 测试 脚本 都 作 了 哪些 修改 。 这 可 能 造成 对 测试 的 理解 错误 。 不 仅 如 此 ， 
还 有 可 能 造成 项 目 组 对 最 初 编写 测试 脚本 的 员工 不 恰当 的 依赖 。 

测试 编码 标准 测试 编码 标准 又 深入 了 一 层 ， 用 于 规范 如 何 编写 测试 用 例 本 身 。 测 试 编码 
标准 应 该 : 

1. 在 测试 用 例 应 该 完成 的 初始 化 和 清理 中 ， 强 制 采用 恰当 的 类 型 ， 以 使 该 测试 用 例 的 执行 
结果 与 其 他 测试 用 例 的 执行 无 关 。 

2. 规范 脚本 中 的 变量 命名 方法 ， 以 保证 读者 能 够 一 致 地 理解 变量 的 用 途 。( 例 如 ， 不 应 该 
使 用 类 似 i、j 这 样 的 一 般 名 称 ， 名 称 应 该 有 含义 ， 例 如 network_init_flag) ; 

3. 鼓励 测试 工作 产品 的 重用 (例如 ， 所 有 的 测试 用 例 都 首先 调用 初始 化 模块 init_env， 而 
不 是 使 用 自己 的 初始 化 过 程 ) ， 

4. 对 操作 系统 、 硬 件 等 外 部 实体 提供 标准 的 接口 。 例 如 ， 如 果 测 试用 例 要 产生 多 个 操作 
系统 进程 ， 不 是 让 每 个 测试 用 例 都 直接 产生 进程 ， 而 是 制订 编码 标准 ， 规 定 测试 用 例 都 调用 
一 个 标准 函数 ， 比 方 说 create_os_process。 通 过 分 别 与 外 部 接口 隔离 ， 使 测试 用 例 能 够 合理 地 
不 受 底层 变更 的 影响 。 

测试 报告 标准 由 于 测试 与 产品 质量 密切 相关 ， 因 此 ， 所 有 有 关 各 方 都 必须 一 致 、 及 时 地 
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看 到 测试 的 进展 。 测 试 报告 标准 就 是 要 解决 这 个 问题 。 测 试 报告 标准 在 报告 的 详细 程度 、 格 
式 和 内 容 、 报 告 的 阅读 对 象 等 方面 提供 指南 。 本 章 稍 后 还 要 进一步 讨论 测试 报告 标准 。 

内 部 标准 使 测试 公司 具有 一 种 竞争 力 手段 ， 为 避免 出 现 员工 返工 和 矛盾 提供 了 最 重要 的 
保证 。 内 部 标准 有 助 于 新 测试 工程 师 的 快速 成 长 。 当 在 全 公司 范围 内 都 执行 这 类 一 致 的 过 程 
和 标准 后 ， 可 以 提高 可 预测 性 ， 提 高 大 家 对 最 终 产 品质 量 的 信心 。 此 外 ， 任 何 异 常 都 会 及 时 
暴露 出 来 。 


15.3.2 测试 基础 设施 管理 


测试 需要 预先 策划 健壮 的 基础 设施 。 这 种 基础 设施 由 三 种 基本 要 素 构成 : 

1. 测试 用 例 数据 库 (TCDB) 

2. 缺陷 库 

3. 配置 管理 库 和 工具 

测试 用 例 数 据 库 保存 有 关公 司 内 测试 用 例 的 相关 信息 。 表 15-2 给 出 了 这 种 测试 用 例 数 据 
库 的 一 些 实体 和 每 个 实体 的 属性 。 


表 15-2 测试 用 例 数据 库 的 内 容 




















实 体 用 途 属 性 
测试 用 例 记录 有 关 测 试用 例 的 所 有 | 。 测试 用 例 标 识 
“静态 ”信息 。 测试 用例 名 称 (文件 名 ) 
。 测试 用 例 拥 有 者 
。 测试 用 例 的 关联 文件 
测试 用 例 与 产品 的 交叉 引用 在 测试 用 例 和 对 应 的 产品 | 。 测试 用 例 标 识 
特性 之 间 进 行 映射 ， 以 确定 | 。 模块 标识 
给 定 特性 对 应 的 测试 用 例 
测试 用 例 运行 历史 记录 测试 用 例 执 行 的 时 间 | 。 测试 用 例 标 识 





和 执行 结果 ， 给 出 回归 测试 | 。 运行 日 期 
的 测试 用 例 输入 选择 (请 参 | 。 所 用 时 间 
阅 第 8 章 ) 。 运行 状 态 (成 功 /失败 ) 
测试 用 例 与 缺陷 的 交叉 引用 详细 记录 发 现 产品 特定 缺 | 。 测试 用例 标识 
陷 的 测试 用 例 ， 给 出 回归 测 | 。 缺陷 引用 号 (指向 缺陷 库 中 的 一 条 记录 ) 
试 的 测试 用 例 输 入 选择 


缺陷 库 保 存 所 报告 产品 缺陷 的 所 有 细节 。 表 15-3 给 出 了 缺陷 库 包 含 的 一 些 信息 。 
表 15-3 缺陷 库 中 的 信息 

















缺陷 细节 记录 有 关 测 试 的 所 有 “静态 ”信息 。 缺陷 标识 

。 缺陷 优先 级 /严重 等 级 

。 缺陷 描述 

。 被 影响 的 产品 

。 相关 的 版 本 信息 

。 环境 信息 (例如 操作 系统 版 本 ) 

。 发 现 问题 的 客户 (也 可 以 是 内 部 测试 团队 ) 
。 缺陷 出 现 的 日 期 和 时 间 

记录 给 定 缺 陷 对 应 的 测试 用 例 的 详细 | 。 缺陷 标识 

彰 息 。 与 测试 用 例 数 据 库 的 交叉 引用 。 测试 用 例 标识 








缺陷 测试 细节 
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用 途 


记录 给 定 缺 陷 对 应 的 修改 详细 信息 。 
与 配置 管理 库 的 交叉 引用 
记录 有 关 相 关 各 方 就 该 缺陷 沟通 的 
详细 信息 。 包 括 测试 团队 与 开发 团队 、 
客户 等 之 间 的 沟通 ， 记 录 沟 通 的 有 效 性 


属 性 








修改 细节 








。 缺 陷 标识 

。 修 改 细节 (所 修改 的 文件 ， 
。 测试 用例 标识 

。 缺 陷 引用 号 

。 沟 通 细节 

缺陷 库 是 一 种 重要 的 沟通 载体 ， 影 响 着 软件 公司 的 内 部 工作 流程 。 缺 陷 库 还 提供 得 出 第 
17 章 将 要 讨论 的 多 个 指标 的 基本 数据 ， 有 具体 地 说 ， 就 是 大 部 分 测试 缺陷 类 的 指标 和 开发 缺陷 
类 指标 都 是 从 缺陷 库 导 出 的 。 

软件 产品 公司 所 需 的 (测试 团队 也 需要 ) 另外 一 种 基础 设施 是 软件 配置 管理 (SCM) 库 。 
软件 配置 管理 库 又 叫做 配置 管理 库 ， 用 于 跟踪 构成 软件 产品 的 所 有 文件 和 实体 的 变更 控制 和 
版 本 控制 。 一 种 特定 的 文件 和 实体 就 是 测试 文件 。 变 更 控制 要 保证 : 

1. 对 测试 文件 的 修改 要 在 受 控 条 件 下 进行 ， 并 只 能 在 经 过 批准 后 进行 。 

2. 测试 工程 师 进行 的 变更 不 会 意外 丢失 或 被 其 他 变更 覆盖 。 

3. 每 次 变更 要 产生 一 个 能 够 在 任何 时 点 上 重新 产生 的 唯一 的 文件 版 本 。 

4. 在 任何 时 点 上 ， 任 何人 都 只 能 访问 最 新 版 本 的 测试 文件 (特殊 情况 除外 )。 

版 本 控制 保证 与 产品 给 定 发 布 版 本 关联 的 测试 脚本 和 产品 文件 建立 了 基线 。 基 线 就 是 对 
一 套 相 关 的 文件 版 本 建立 了 一 种 快照 ， 并 对 这 套 文件 分 配 唯 一 的 标识 。 将 来 ， 当 有 人 需要 重 
新 生成 给 定 发 布 版 本 的 环境 时 ， 这 种 标识 能 够 保证 可 以 重新 生成 。 

测试 用 例 数 据 库 、 缺 陷 库 和 软件 配置 管理 库 应 该 相互 匹配 ， 并 以 集成 的 方式 协同 运行 ， 
如 图 15-3 所 示 。 例 如 ， 缺 陷 库 将 缺陷 、 修 改 和 测试 用 例 关联 起 来 ， 保 存 这 些 内 容 的 文件 放 在 
软件 配置 管理 库 中 ， 被 修改 测试 文件 的 元 数据 又 放 在 测试 用 例 数据 库 中 。 这 样 ， 从 给 定 缺 陷 
开始 ， 可 以 (通过 测试 用 例 数据 库 ) 跟踪 该 缺陷 对 应 的 所 有 测试 用 例 ， 并 通过 软件 配置 管理 
库 找 出 对 应 的 测试 用 例文 件 和 源 文件 。 








修改 的 发 布 信息 ) 





沟通 
























i ~ 
| 缺陷 沟通 


| 文 姑 | > Ee 










图 15-3 软件 配置 管理 库 、 缺 陷 库 和 测试 用 例 数据 库 之 间 的 关系 
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类 似 地 ， 为 了 确定 回归 测试 应 该 运行 哪些 测试 用 例 ， 

1. 可 以 通过 缺陷 库 找 出 最 近 修 改 了 的 缺陷 和 对 应 的 测试 用 例 ， 从 测试 用 例 数据 库 中 提取 
这 些 测 试用 例 ， 组 成 回归 测试 测试 用 例 。 

2. 可 以 从 软件 配置 管理 库 中 找 出 自 上 次 回归 测试 以 来 已 经 变更 了 的 文件 清单 ， 并 通过 测 
试用 例 数 据 库 跟踪 到 对 应 的 测试 文件 。 

3. 通过 测试 用 例 数据 库 可 以 得 到 最 近 没 有 运行 的 测试 用 例 集 ， 这 些 测试 用 例 有 可 能 用 于 
按 一 定 间 隔 时 间 进 行 的 定期 测试 。 


15.3.3 测试 人 员 管 理 








开发 人 员 : 这 些 测试 家 伙 …… 他 们 总 在 挑刺 1 
测试 人 员 : 为 什么 这 些 开发 人 员 什 么 事 都 干 不 好 ? | 
销售 人 员 : 什么 时 候 我 才能 得 到 能 够 销售 的 产品 ?| 








人 员 管 理 对 于 任何 项 目 管理 都 是 一 个 组 成 部 分 。 人 员 管 理 对 于 从 工程 师 转 为 经 理 的 人 员 
来 说 常常 是 一 个 难题 ， 他 们 总 依靠 自己 的 技能 来 完成 所 分 配 的 活动 ， 他 们 没有 受过 必要 的 培 
训 ， 不 知道 如 何 将 需要 做 的 写 下 来 ， 以 便 由 其 他 人 完成 。 不 仅 如 此 ， 人 员 管 理 还 要 求 有 聘用 、 
激励 、 保 留 合 适 人 员 的 能 力 。 这 些 技能 很 少 有 正式 教授 的 〈 与 技术 技能 不 同 ) 。 项 目 经 理 常 常 
在 任务 面前 不 得 不 以 “ 摸 着 石头 过 河 ” 的 方式 学 习 这 些 技能 。 

以 上 提 到 的 大 部 分 人 员 管 理 问 题 在 所 有 类 型 的 项 目 中 都 存在 。 测 试 项 目 还 有 一 些 其 他 挑 
战 。 我 们 认为 测试 公司 (或 测试 人 员 个 人 ) 的 成 功 非常 依赖 于 明智 的 人 员 管 理 技 能 。 由 于 人 
员 和 团队 建设 问题 很 重要 ， 因 此 在 第 13 章 和 第 14 章 详细 介绍 。 这 两 章 讨论 与 构建 和 管理 好 的 
全 球 测试 团队 有 关 的 问题 ， 重 点 是 如 何 有 效 地 集成 到 产品 开发 和 发 布 中 。 

应 该 强调 的 是 ， 这 些 团 队 建 设 工作 要 持续 进行 ， 不 能 中 断 ， 不 能 一 中 而 就 。 在 产品 交付 
最 后 期 限 和 质量 的 压力 下 ， 团 队 建 设 工作 会 减弱 。 但 是 这 种 工作 需要 定期 重 温 。 重 要 的 是 ， 
共同 的 目标 和 团队 精神 已 经 在 所 有 相关 入 员 的 内 部 根深 蒂 固 。 一 旦 形成 内 部 的 东西 ， 就 不 大 
会 在 项 目 执行 过 程 中 因 操 作 压 力 而 左右 摇摆 。 这 种 内 在 化 和 团队 建设 工作 必须 成 为 团队 成 功 
策划 过 程 的 一 部 分 。 


15.3.4 与 产品 发 布 集成 


产品 的 最 终 成 功 取决 于 开发 和 测试 活动 集成 的 有 效 性 。 这 两 个 部 门 之 间 必 须 密切 协作 ， 
还 要 与 产品 支持 、 产 品 管理 等 部 门 密切 协作 。 测 试 的 进度 计划 必须 直接 与 产品 发 布 关联 。 因 
此 ， 整 个 产品 的 项 目 策划 应 该 全 面 ， 要 包含 测试 和 开发 的 项 目 计划 。 以 下 是 这 种 策划 的 一 些 
决策 内 容 : 

1. 开发 和 测试 的 同步 点 ， 什 么 时 候 可 以 开始 不 同类 型 的 测试 。 例 如 ， 什 么 时 候 集成 测试 
可 以 开始 ， 什 么 时 候 系统 测试 可 以 开始 等 。 什 么 时 候 开 始 是 受 每 个 测试 阶段 的 客观 的 进入 准 
则 决定 的 。 

2. 开发 和 测试 之 间 的 服务 等 级 约定 ， 即 测试 团队 需要 多 长 时 间 完 成 测试 。 这 可 以 保证 测 
试 关注 点 只 集中 在 发 现 相关 的 和 重要 的 缺陷 上 。 

3. 缺陷 各 种 优先 级 和 严重 等 级 的 一 致 定义 。 这 涉及 在 开发 和 测试 团队 之 间 就 所 关注 缺陷 
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的 性 质 建立 一 致 的 认识 。 
4. 与 文档 编写 小 组 的 沟通 机 制 ， 保 证 文档 与 产品 在 已 知 缺陷 、 避 开 方 法 等 方面 同步 。 
测试 团队 的 目的 就 是 找 出 产品 中 的 缺陷 ， 确 定 发 布 带 有 已 知 缺陷 的 产品 所 面临 的 风险 。 
是 否 发 布 的 最 终 决定 权 在 管理 层 手 里 ， 他 们 要 考虑 市 场 压力 ， 并 权衡 给 公司 和 客户 带 来 的 商 


业 影响 。 
15.4 测试 过 程 
15.4.1 把 各 种 要 素 放 在 一 起 并 确定 测试 计划 基线 


测试 计划 要 在 一 份 文档 中 包含 以 上 讨论 过 的 所 有 要 素 ， 测试 计 划 就 是 整个 测试 项 目的 错 
点 。 本 章 附录 B 给 出 了 一 个 测试 计划 的 模板 ， 附 录 A 给 出 了 对 于 形成 测试 计划 很 有 用 的 检查 单 。 

公司 一 般 要 制定 在 整个 公司 内 使 用 的 模板 ， 每 个 测试 项 目 都 要 根据 该 模板 制定 测试 计划 。 
如 果 需 要 对 模板 进行 修改 ， 那 么 必须 经 过 仔细 项 酌 后 进行 (并 经 过 合适 的 批准 )。 测 试 计划 要 
经 过 公司 中 一 些 指定 的 有 资格 的 入 进行 评审 ， 然 后 由 独立 于 直接 负责 测试 的 项 目 经 理 的 相关 
负责 人 批准 。 然 后 ， 测 试 计划 进入 配置 管理 库 ， 并 建立 基线 。 从 此 以 后 ， 成 为 基线 的 测试 计 
划 就 成 为 推进 测试 项 目的 基础 。 测 试 项 目 中 的 任何 重大 变更 都 要 在 测试 计划 中 反映 出 来 ， 并 
对 配置 管理 库 内 的 测试 计划 重新 建立 基线 。 此 外 ， 有 关 各 方 还 要 定期 就 是 否 需要 修改 测试 计 
划 模 板 进行 讨论 ， 要 保证 模板 对 测试 团队 是 最 新 的 和 适用 的 。 


15.4.2 测试 用 例 规 格 说 明 


以 测试 计划 为 基础 ， 测 试 团队 要 设计 测试 用 例 规 格 说 明 ， 而 测试 用 例 规格 说 明 又 是 准备 
测试 用 例 的 基础 。 本 书 通 篇 比较 随意 地 使 用 测试 用 例 这 个 词 。 实 际 上 测试 用 例 只 不 过 就 是 在 
给 定 的 环境 中 对 产品 进行 的 一 系列 操作 步 又， 使 用 预先 定义 的 一 组 输入 数据 ， 预 期 产生 预先 
定义 的 输出 。 因 此 ， 测 试用 例 规格 说 明 应 该 明确 确定 : 

1. 测试 的 目的 : 说 明 测 试 针对 的 特性 或 部 件 。 测 试用 例 应 该 遵循 与 被 测 特性 /模块 一 致 的 
命名 规则 (前面 已 经 讨论 过 )。 

2. 被 测 项 ， 以 及 合适 的 版 本 号 。 

3. 运行 该 测试 用 例 所 应 建立 的 环境 : 可 以 包括 硬件 环境 设置 、 支 撑 软 件 环 境 设 置 (例如 
操作 系统 、 数 据 库 等 的 设置 )、 被 测 产 品 的 设置 (正确 版 本 的 安装 、 配 置 、 数 据 初 始 化 等 )。 

4. 测试 用 例 所 使 用 的 输入 数据 : 所 选择 的 输入 数据 将 取决 于 该 测试 用 例 本身 和 测试 用 例 
所 采用 的 技术 (例如 等 价 类 划分 、 边 界 值 分 析 等 )。 各 个 字段 所 使 用 的 实际 取 值 应 该 无 歧义 地 
定义 (例如 ， 不 要 只 是 说 “输入 一 个 三 位 数字 的 正 整 数 ”"， 而 是 说 “输入 789”)。 如 果 测 试用 
例 要 自动 化 ， 那 么 这 些 值 应 该 收 进 文件 中 使 用 ， 而 不 应 该 是 每 次 都 手工 输入 数据 。 

5. 执行 测试 要 遵循 的 步骤 : 如 果 采 用 自动 化 的 测试 ， 那 么 这 些 步 又 要 翻译 为 工具 的 脚本 
语言 。 如 果 要 手工 测试 ， 那 么 这 些 步骤 就 是 测试 人 员 执 行 测 试 所 使 用 的 详细 指示 。 重 要 的 是 
要 保证 所 编写 步骤 的 详细 程度 要 与 执行 测试 人 员 的 技能 和 专业 知识 一 致 。 

6. 被 认为 是 “正确 结果 ”的 预期 结果 。 这 些 预期 结果 可 以 是 用 户 可 以 看 到 的 ， 例 如 GUI 
表单 、 报 表 等 ， 也 可 以 是 对 数据 库 或 文件 等 固定 存储 的 更 新 。 

7. 将 所 得 到 的 实际 结果 与 预期 结果 的 比较 步骤 : 这 个 步骤 应 该 对 预期 结果 和 实际 结果 进 
行 “智能 ”比较 ， 以 发 现 可 能 的 差异 。 所 谓 “ 智 能 ”比较 ， 是 指 应 该 考虑 预期 结果 和 实际 结 
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” 果 之 间 的 “可 接受 的 差异 ”"， 例 如 终端 标识 、 用 户 标识 、 系 统 日 期 等 
8. 该 测试 与 其 他 测试 可 能 存在 的 关系 :可 以 是 测试 之 间 的 依赖 关系 ， 也 可 以 是 跨 测试 重 
用 的 可 能 | 


15.4.3 可 跟踪 性 矩阵 的 更 新 


第 4 章 已 经 讨论 过 ， 需 求 可 跟踪 性 矩阵 保证 需求 在 后 续 生 存 周 期 阶段 得 到 贯彻 ， 不 会 中 途 
被 遗漏 。 具 体 地 说 ， 可 跟踪 性 矩阵 是 确认 每 个 需求 都 被 测试 过 的 一 种 工具 。 可 跟踪 性 矩阵 要 
在 需求 获取 阶段 本 身 建立 ， 为 每 个 需求 确定 唯一 的 标识 符 。 以 后 ， 随 着 项 目 经 历 设 计 和 编码 
阶段 ， 设 计 特 性 和 程序 文件 名 称 的 唯一 标识 符 要 输入 到 可 跟踪 性 矩阵 中 。 当 测试 用 例 规格 说 
明 完 成 后 ， 测 试用 例 要 测试 的 对 应 需求 的 行 要 用 测试 用 例 规格 说 明 标识 符 更 新 。 这 要 求 在 需 
求 和 测试 用 例 之 间 存 在 双向 映射 关系 。 


15.4.4 确定 有 可 能 实现 自动 化 的 测试 用 例 


测试 用 例 设 计 构 成 编写 测试 用 例 的 基础 。 在 编写 测试 用 例 之 前 ， 需 要 考虑 哪些 测试 用 例 
要 自动 化 ， 哪 些 要 手工 执行 。 第 16 章 将 详细 介绍 测试 自动 化 问题 。 这 里 要 说 的 ， 只 是 在 决定 
要 自动 化 的 脚本 时 需要 使 用 的 准则 包括 : 

1. 测试 用 例 的 重复 性 ， 

2. 自动 化 所 需要 的 工作 量 ， 

3. 执行 该 测试 用 例 所 需要 的 手工 干预 量 ， 

4. 自动 化 工具 的 成 本 。 


15.4.5 测试 用 例 的 开发 和 基线 确立 


要 根据 测试 用 例 规格 说 明和 自动 化 测试 用 例 的 选择 开发 测试 用 例 。 测 试用 例 的 开发 要 把 
测试 规格 说 明 转 换 为 能 够 执行 该 测试 的 形式 。 如 果 测 试用 例 被 确定 为 要 自动 化 ， 那 么 需要 用 
自动 化 工具 语言 编写 测试 脚本 。 如 果 是 手工 执行 的 测试 用 例 ， 那 么 要 写 明 执行 测试 和 确认 结 
果 所 需 的 详细 的 一 步 步 的 指示 。 此 外 ， 测 试用 例 还 要 在 文档 中 说 明 自 最 初 开发 以 来 所 做 的 变 
更 情况 。 因 此 ， 测 试用 例 还 要 有 变更 历史 文档 描述: 

1. 做 了 什么 变更 ， 

2. 为 什么 要 变更 ， 

3. 谁 做 的 变更 ， 

4. 什么 时 间 做 的 变更 ， 

5. 简要 描述 变更 的 实现 ， 

6. 这 个 变更 对 其 他 文件 的 影响 。 

测试 用 例 的 所 有 工作 产品 ， 即 测试 脚本 、 输 入 、 预 期 输出 等 ， 都 要 按 前 面 介绍 的 方式 存 
入 测试 用 例 数据 库 和 软件 配置 管理 库 中 。 由 于 这 些 工作 产品 要 进入 软件 配置 管理 库 ， 因 此 在 
形成 基线 之 前 ， 要 经 过 评审 和 有 关 负 责 人 的 批准 。 


15.4.6 测试 用 例 的 执行 与 可 跟踪 性 矩阵 的 更 新 


所 准备 的 测试 用 例 要 在 项 目的 合适 时 间 执 行 。 例 如 ， 对 应 冒 烟 测试 的 测试 用 例 可 能 每 天 
都 要 执行 一 次 ， 而 系统 测试 的 测试 用 例 只 在 系统 测试 阶段 执行 。 
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在 测试 周期 中 执行 测试 用 例 时 ， 缺 陷 库 也 随 之 用 以 下 信息 更 新 : 

1. 以 前 通过 测试 发 现 并 在 当前 版 本 中 已 经 修改 的 缺陷 ; 

2. 在 本 次 测试 中 发 现 的 新 缺陷 。 

缺陷 库 应 该 是 测试 团队 和 开发 团队 进行 沟通 的 主要 载体 。 前 面 讨论 过 ， 缺 陷 库 包 含有 关 
测试 发 现 的 (以 及 客户 报告 的 ) 缺陷 的 所 有 信息 。 所 有 有 关 各 方 都 应 该 通过 缺陷 库 了 解 所 有 
缺陷 的 当前 状态 。 这 种 沟通 通过 其 他 手段 ， 例 如 电子 邮件 、 会 议 通知 等 得 到 加 强 。 

在 讨论 测试 计划 时 已 经 提 到 过 ， 测 试 在 执行 过 程 中 可 能 因为 出 现 一 些 影 响 测试 继续 进行 
的 缺陷 而 被 挂 起 。 在 这 种 情况 下 ， 被 挂 起 的 测试 用 例 要 等 到 恢复 准则 条 件 满足 后 才 继续 运行 。 
同样 ， 测 试用 例 的 执行 也 要 在 进入 准则 条 件 满足 后 进行 ， 在 退出 准则 条 件 满足 后 结束 。 

在 测试 设计 和 执行 期 间 ， 可 跟踪 性 矩阵 要 随时 更 新 。 随 着 测试 的 设计 和 执行 成 功 ， 要 更 
新 可 跟踪 性 矩阵 。 可 跟踪 性 矩阵 本 身 也 是 配置 管理 的 内 容 ， 即 需要 进行 版 本 控制 和 变更 控制 。 


15.4.7 指标 的 采集 与 分 析 


在 执行 测试 时 ， 要 把 有 关 测 试 执行 的 信息 采集 到 测试 日 志 记 录 和 其 他 文件 中 。 视 试 运 行 
的 基本 度量 再 通过 合适 的 转换 和 公式 ， 变 换 为 有 意义 的 指标 。 第 17 章 将 详细 讨论 这 个 问题 。 


15.4.8 准备 测试 总 结 报告 


测试 周期 结束 时 要 产生 测试 总 结 报告 。 测 试 总 结 报告 要 向 高 层 管理 说 明 产品 是 否 适合 发 
布 。 本 章 稍 后 还 要 详细 讨论 测试 总 结 报告 。 


15.4.9 推荐 产品 发 布 准则 


测试 的 目的 之 一 是 确定 产品 是 否 适合 发 布 。 第 1 章 已 经 介绍 过 ， 测 试 永远 不 能 确定 地 证 明 
软件 产品 中 没有 缺陷 ， 测 试 所 能 提供 的 只 是 缺陷 在 产品 中 存在 、 严 重 
程度 和 影响 的 证 据 。 前 面 已 经 介绍 过 ， 测 试 团队 的 工作 就 是 告诉 高 层 
管理 和 产品 发 布 团队 

1. 产品 中 还 有 什么 缺陷 ; 

2. 每 个 缺陷 的 影响 和 严重 等 级 ， 

3. 在 已 知 缺 陷 没有 修改 的 情况 下 发 布 产品 会 带 来 的 风险 。 
然后 高 层 管理 会 就 是 否 发 布 给 定 版 本 作出 合理 的 业务 决策 。 


15.5 测试 报告 


测试 需要 测试 团队 和 其 他 团队 (例如 开发 团队 ) 之 间 不 断 沟通 。 测 试 报告 是 实现 这 种 沟 
通 的 一 种 手段 。 需 要 有 两 种 类 型 的 报告 或 沟通 : 测试 事件 报告 和 测试 总 结 报告 (又 叫做 测试 
完成 报告 ) 。 

测试 事件 报告 

测试 事件 报告 是 在 测试 周期 内 遇 到 缺陷 时 的 沟通 。 我 们 在 讨论 缺陷 库 时 提 到 过 ， 测 试 事 
件 报告 只 不 过 是 缺陷 库 中 的 一 条 记录 。 每 个 缺陷 都 有 唯一 的 标识 ， 用 于 标识 该 事件 。 影 响 大 
的 测试 事件 〈 缺 陷 ) 要 在 测试 总 结 报告 中 指出 。 

测试 周期 报告 


产品 在 “被 测 ” 时 ， 
有 可 能 面临 “过 测试 ” 
的 风险 ， 试 图 清除 “最 
后 一 个 缺陷 ”就 是 一 种 
风险 ! 
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前 面 介绍 过 ， 测 试 项 目 以 测试 周期 为 单位 实施 。 一 个 测试 周期 包括 在 周期 内 策划 和 执行 
测试 用 例 ， 每 个 周期 都 使 用 不 同 的 产品 版 本 。 随 着 产品 经 历 了 各 种 周期 ， 产 品 预期 越 来 越 稳 
定 。 每 个 周期 结束 时 的 测试 周期 报告 要 给 出 : 
1. 本 周期 内 完成 的 活动 总 结 ， 
2. 本 周期 内 发 现 的 缺陷 ， 按 缺陷 的 严重 等 级 和 影响 分 类 ， 
3. 在 缺陷 修改 方面 前 一 个 周期 到 当前 周期 的 进展 ; 
4. 本 周期 还 没有 修改 的 严重 问题 ， 
5. 工作 量 或 进度 上 的 任何 偏差 (下 次 策划 时 可 以 参考 )。 
测试 总 结 报告 
测试 周期 的 最 后 一 个 步骤 是 对 产品 发 布 的 适宜 性 提出 建议 。 对 一 个 测试 周期 的 结果 进行 
总 结 的 报告 叫做 测试 总 结 报告 。 
测试 总 结 报告 有 两 类 : 
1. 按 阶段 进行 测试 总 结 ， 在 每 个 阶段 结束 时 进行 ， 
2. 最 终 测 试 总 结 报告 (包含 所 有 测试 阶段 和 团队 完成 的 所 有 测试 ， 又 叫做 “发 布 测 试 
报告 ”)。 
总 结 报告 应 包含 : 
1. 本 测试 周期 或 阶段 完成 的 活动 总 结 ; 
2. 活动 的 实际 执行 和 策划 之 间 的 偏差 ， 包括: 
。 计划 运行 但 是 不 能 运行 的 测试 〈 说 明 原 因 ) ， 
。 对 原始 测试 规格 说 明 的 修改 〈 在 这 种 情况 下 ， 应 该 更 新 测试 用 例 数据 库 ) ， 
。 运行 的 补充 测试 《没有 列 在 原始 测试 计划 中 ) ， 
。 策划 和 实际 工作 量 和 时 间 的 偏差 ， 
。 与 计划 的 任何 其 他 偏离 。 

3. 结果 总 结 应 包括 : 
。 未 通过 的 测试 用 例 ， 并 描述 未 通过 的 原因 ， 
。 测试 发 现 的 缺陷 的 影响 严重 等 级 。 

4. 对 发 布 的 综合 评估 和 建议 应 包括 : 
。 “发 布 适宜 性 ”的 评估 ， 
。 发布 建议 。 

产品 发 布 建议 

公司 可 以 根据 测试 总 结 报告 就 是 否 发 布 产品 作出 决策 。 

在 理想 情况 下 ， 公 司 希 望 发 布 零 缺陷 产品 。 但 是 ， 市 场 压 力 可 能 导致 发 布 带 缺 陷 的 产品 ， 
只 要 高 层 管理 确信 不 会 有 客户 不 满意 的 重大 风险 。 如 果 残 留 缺 陷 的 优先 级 和 影响 都 很 低 ， 或 
出 现 这 些 缺 陷 的 条 件 不 现实 ， 公 司 可 能 会 决定 发 布 带 这 些 缺 陷 的 产品 。 只 有 在 征求 了 客户 支 
持 团 队 、 开 发 团队 和 测试 团队 之 后 ， 高 层 管理 才 可 以 作出 这 样 的 决定 ， 以 便 评估 公司 各 个 部 
门 的 总 体 工作 量 。 


15.6 最 佳 实践 
测试 中 的 最 佳 实践 可 分 为 三 类 : 
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1. 与 过 程 相 关 的 最 佳 实践 ， 
2. 与 人 员 相关 的 最 佳 实践 ， 
3. 与 技术 相关 的 最 佳 实践 。 


15.6.1 与 过 程 相关 的 最 佳 实践 


获得 更 好 的 可 预测 性 和 一 致 性 要 求 具有 很 强 的 过 程 基 础 设施 和 过 程 文化 。 像 CMMI 这 样 的 
过 程 模型 可 以 提供 构建 这 种 基础 设施 的 框架 。 实 现 有 业务 意义 的 正式 


实施 员工 友好 的 过 程 
二 y HT 一 ] 机 生 - Es 
估计 其 过 粮 必 好 前 员工 过 程 模型 可 以 提供 一 致 的 全 员 培 训 ， 使 任务 的 执行 具有 一 致 性 。 


以 明智 的 方式 将 过 程 与 技术 结合 起 来 是 公司 成 功 的 关键 。 过 程 数 
据 库 即 有 关 各 种 过 程 的 定义 和 执行 信息 ， 对 于 公司 的 有 效 运 转 是 很 有 价值 的 。 当 这 种 过 程 数 
据 库 与 其 他 工具 ， 例 如 缺陷 库 、 软 件 配置 管理 工具 和 测试 用 例 数据 库 集成 后 ， 公 司 可 以 发 挥 
最 大 效益 。 


15.6.2 与 人 员 相 关 的 最 佳 实践 


本 书 第 13 章 研究 讨论 了 测试 中 与 人 员 管 理 有 关 的 最 佳 实践 ， 以 下 总 结 一 下 这 些 测 试管 理 
方面 的 最 佳 实践 。 

成 功 管理 的 关键 是 保证 测试 和 开发 团队 的 密切 配合 。 通 过 营造 一 种 对 产品 总 体 目 标 认 同 
感 的 氛围 可 实现 这 种 配合 。 在 开发 团队 和 测试 团队 都 有 各 自 的 目标 情况 下 ， 对 产品 作为 一 个 
整体 要 定义 总 体 目标 ， 对 这 种 总 体 目标 的 一 致 理解 是 非常 重要 的 。 测 试 团队 通过 参与 这 种 确 
定 目 标的 过 程 ， 通 过 早期 参与 整个 总 体 的 策划 过 程 ， 能 够 实现 这 种 密切 配合 。 测 试 团队 通过 
参与 产品 发 布 决策 和 发 布 准则 的 确定 ， 有 助 于 强化 这 种 配合 。 

本 章 前 面 讨论 过 ， 支 持 、 开 发 和 测试 人 员 的 工作 轮换 也 有 助 于 强化 团队 之 间 的 配合 ， 有 
助 于 不 同 的 困 队 更 好 地 理解 不 同 岗位 面临 的 挑战 ， 以 便 更 好 地 相互 协作 。 


15.6.3 与 技术 相关 的 最 佳 实践 


前 面 介绍 过 ， 而 试用 例 数 据 库 、 软 件 配置 管理 和 缺陷 库 的 完整 集成 有 助 于 更 好 地 实施 测 
试 自动 化 活动 ， 有 助 于 选择 更 可 能 发 现 缺陷 的 测试 用 例 。 即 使 没有 满足 各 种 要 求 的 测试 自动 
化 工具 ， 这 三 种 工具 的 紧密 集成 也 可 以 大 幅度 提高 测试 的 有 效 性 。 第 17 章 将 要 讨论 每 100 小 时 
测试 发 现 的 缺陷 、 缺 陷 密度 、 缺 陷 清除 率 等 指标 。 通 过 这 三 种 工具 的 紧密 集成 可 以 极 大 地 简 
化 这 些 指标 的 计算 。 

正如 第 16 章 将 要 讨论 的 ， 自 动 化 工具 承担 了 测试 部 门 的 枯燥 和 重复 性 工作 ， 提 高 了 测试 
部 门 的 吸引 力 。 尽 管 可 能 要 作 大 笔 的 初始 投资 ， 但 是 自动 化 可 以 通过 


二 十 一 世纪 的 工具 
| es ey os 降低 执行 测试 所 需 的 工作 量 直 接 带 来 长 期 的 费用 节省 。 此 外 ， 在 降低 
只 能 产生 十 九 世纪 的 生 。 测试 工程 师 之 间 的 矛盾 方面 还 有 一 些 间接 的 好 处 ， 因 为 测试 自动 化 工 


产 率 1 有 具 不 仅 降低 了 重复 性 工作 ， 还 为 测试 岗位 带 来 了 一 些 工程 师 通常 很 喜 
- 欢 的 “编程 ”工作 。 
在 使 用 测试 自动 化 工具 时 ， 最 好 将 这 些 工具 与 测试 用 例 数据 库 、 缺 陷 库 和 软件 配置 管理 
工具 集成 使 用 。 事 实 上 ， 大 多 数 测试 自动 化 工具 在 与 商品 化 的 软件 配置 管理 工具 集成 时 ， 都 
提供 了 测试 用 例 数据 库 和 缺陷 库 的 功能 。 
关于 最 佳 实 践 最 后 一 点 要 说 的 是 ， 最 佳 实 践 的 三 个 方面 不 能 孤立 地 实施 。 好 的 技术 基础 
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设施 需要 有 效 的 过 程 基础 设施 的 支持 ， 需 要 有 高 素质 的 人 员 执行 。 这 些 最 佳 实 践 是 内 部 独立 ， 
日 我 支持 和 相互 增强 的 。 因 此 ， 公 司 需要 全 面 考虑 这 些 最 佳 实践 ， 并 在 三 个 方面 认真 权衡 综 
合 考虑 。 


附录 A: 测试 策划 检查 单 
与 范围 有 关 的 内 容 


”确定 了 要 测试 的 特性 吗 ? 

。 确定 了 不 测试 的 特性 吗 ? 

”产品 管理 层 或 高 级 管理 层 论 证 了 选择 不 测试 特性 的 理由 及 其 影响 吗 ? 
"确定 了 该 发 布 版 本 的 新 特性 吗 ? 

"在 范围 内 是 否 包含 了 失效 会 造成 灾难 性 后 果 的 测试 区 域 ? 

"是 否 准备 测试 容易 出 现 缺陷 或 很 难 测试 的 区 域 ? 


与 环境 有 关 的 内 容 


是 否 有 软件 配置 管理 工具 ? 

是 否 有 缺陷 库 ? 

是 否 有 测试 用 例 数据 库 ? 

是 否 建立 了 更 新 这 些 库 的 制度 化 规程 ? 

是 否 确定 了 设计 和 运行 测试 所 需 的 硬件 和 软件 ? 

是 否 确定 了 可 能 需要 的 测试 制度 化 所 需 的 经 费 和 其 他 资源 ? 


与 准则 定义 有 关 的 内 容 


。 是否 为 各 个 测试 阶段 定义 了 进入 和 退出 准则 ? 
。 是 否 为 各 种 测试 定义 了 挂 起 和 恢复 准则 ? 


与 测试 用 例 有 关 的 内 容 


。 是否 公 布 了 命名 规则 和 其 他 设计 、 编 写 和 执行 测试 用 例 的 内 部 标准 ? 
。 测试 规格 说 明文 档 是 否 充分 遵循 了 以 上 准则 ? 

。 测试 规格 说 明 是 否 经 过 评审 并 得 到 合适 人 员 的 批准 ? 

”测试 规格 说 明 是 否 在 软件 配置 管理 库 中 形成 基线 ? 

。 测 试用 例 是 否 根 据 规格 说 明 编 写 ? 

。 测试 用例 是 否 经 过 评审 并 得 到 合适 人 员 的 批准 ? 

。 测试 用 例 是 否 在 软件 配置 管理 库 中 形成 基线 ? 

。 测试 规格 说 明和 测试 用 例 形成 基线 后 ， 是 否 更 新 了 可 跟踪 性 矩阵 ? 


与 工作 量 估计 有 关 的 内 容 
“把 范围 转换 为 规模 估计 (例如 测试 用 例 数 ) 了 吗 ? 
完成 设计 和 构建 测试 所 需 的 工作 量 估计 了 吗 ? 
完成 重复 执行 测试 所 需 的 工作 量 估计 了 吗 ? 
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。 工 作 量 估计 是 否 经 过 评审 并 得 到 合适 人 员 的 批准 ? 
与 进度 有 关 的 内 容 


。 制订 利用 了 所 有 可 用 资源 的 进度 安排 了 吗 ? 

。 考虑 并 行 开展 工作 约束 了 吗 ? 

。 考虑 开发 团队 提交 发 布 产 品 可 能 性 方面 的 因素 了 吗 ? 
。 考虑 发 现 影响 测试 继续 进行 的 缺陷 方面 的 因素 了 吗 ? 
。 在 进度 安排 中 对 测试 指派 优先 级 了 吗 ? 

。 进 度 安排 是 否 经 过 评审 并 得 到 合适 人 员 的 批准 ? 


与 风险 有 关 的 内 容 


。 确定 测试 项 目 中 的 可 能 风险 了 吗 ? 

。 量化 这 些 风 险 的 可 能 性 和 影响 了 吗 ? 

。 明确 在 风险 发 生 之 前 就 可 发 现 的 可 能 的 征兆 了 吗 ? 

。 明确 这 些 风险 的 可 能 的 缓解 策略 了 吗 ? 

。 考 虑 了 不 要 把 所 有 测试 活动 都 挤 在 开发 周期 结束 后 的 时 间 内 吗 ? 

。 采 用 什么 机 制 ( 例 如 像 在 V 字 模型 一 样 早期 开始 测试 设计 ) 将 测试 活动 分 散 到 生命 周期 
各 时 点 中 ? 

。 考 虑 了 由 于 测试 被 挂 起 时 间 空 闲 的 风险 吗 ? 


与 人 员 有 关 的 内 容 


。 确定 了 所 需 的 人 员 数 量 和 技能 水 平 要 求 吗 ? 
。 确定 了 技能 差距 并 安排 了 相关 培训 吗 ? 


与 执行 有 关 的 内 容 

。 按 计划 执行 测试 吗 ? 如 果 出 现 偏差 ， 更 新 计划 了 吗 ? 

。 测 试 执行 对 测试 用 例 设计 做 了 一 些 必 要 的 修改 吗 ? 如 果 修改 了 ， 测 试用 例 数据 库 是 否 
也 被 同步 更 新 ? 

。 在 缺陷 库 中 记录 了 测试 中 发 现 的 所 有 缺陷 吗 ? 

。 在 缺陷 库 中 更 新 了 当前 测试 周期 的 所 有 缺陷 修改 吗 ? 

。 可 跟踪 性 矩阵 是 否 也 被 同步 更 新 ? 

与 结束 有 关 的 内 容 

。 编写 测试 总 结 报告 了 吗 ? 

。 在 文档 中 清楚 地 写 入 了 严重 缺陷 及 其 严重 程度 和 影响 吗 ? 
。 对 产品 的 发 布 提出 了 自己 的 建议 吗 ? 


附录 B: 测试 计划 模板 


1. 引言 
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范围 
哪些 特性 要 测试 ， 哪 些 特性 不 测试 ; 测试 哪些 环境 组 合 ， 不 测试 哪些 环境 组 合 。 
2. 引用 文档 
(给 出 引用 文档 和 链接 ,例如 需求 规格 说 明 、 设 计 规 格 说 明 、 程序 规格 说 明 、 项 目 计划 、 
项 目 估 计 、 测 试 估计 、 过 程 文档 、 内 部 标准 、 外 部 标准 等 ) 
3. 测试 方法 与 策略 
4. 测试 准则 
4.1 进入 准则 
4.2 退出 准则 
4.3 挂 起 准则 
4.4 恢复 准则 
. 假设、 依赖 关 系 与 风险 
5.1 假设 
5.2 依赖 关系 
5.3 风险 与 风险 管理 计划 
6. 估计 
6.1 规模 估计 
6.2 工作 量 估计 
6.3 进度 估计 
. 测试 交付 产品 与 里 程 碑 
分开 
资源 需求 
9.1 硬件 资源 
9.2 软件 资源 
9.3 人 力 资源 (人 员 的 数量 、 技 能 要 求 、 占 用 起 止 时 间 等 ) 
9.4 其 他 资源 
10. 培训 需求 
10.1 所 需 的 培训 细节 
10.2 可 能 的 被 培训 人 员 
10.3 约束 条 件 
11. 缺陷 记录 与 跟踪 过 程 
12. 指标 计划 
13. 产品 发 布 准则 


问题 与 练习 


1. 有 人 说 , “测试 严重 依赖 于 开发 ， 所 以 我 不 做 测试 项 目 策划 。” 如 何 反 驶 这 种 说 法 ? 

2. 请 考虑 一 个 新 的 操作 系统 版 本 。 在 确定 该 版 本 需要 测试 的 范围 时 ， 必 须 测 试 以 下 哪些 
特性 ? 
a. 操作 系统 引入 对 一 种 已 经 成 为 事实 标准 的 新 的 网 络 协 议 的 支持 ， 
b. 操作 系统 经 过 修改 ， 以 便 运 行 在 火星 载 人 飞船 戏 入 式 系统 中 ， 
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c. 操作 系统 支持 长 文件 名 的 特性 已 经 稳定 ， 过 去 的 五 个 版 本 都 没有 问题 ， 也 没有 做 过 大 的 
修改 ; 

d. 操作 系统 的 文件 系统 的 缓存 部 分 常常 产生 性 能 问题 ， 每 次 微小 变化 都 会 引起 大 的 麻烦 ， 

e. 操作 系统 预期 运行 在 不 同 的 芯片 和 网 络 上 ， 不 同 的 计算 机 可 能 使 用 不 同 的 芯片 。 


.请 给 出 单元 测试 的 一 些 典 型 的 进入 、 退 出 、 挂 起 和 恢复 准则 。 如 果 有 区 分 单元 测试 中 黑 盒 


和 白 盒 测 试 部 分 的 准则 ， 请 考虑 怎样 对 单元 测试 的 白 盒 测试 和 黑 盒 测试 分 类 。 
在 讨论 职责 和 人 员 需 求 时 ， 考 虑 的 都 是 测试 团队 的 需求 。 测 试 计划 还 应 该 规定 其 他 有 关 团 
队 (例如 开发 团队 ) 的 什么 服务 等 级 约定 或 职责 ? 应 该 怎样 跟踪 这 类 职责 ? 


.为 了 估计 测试 项 目的 规模 ， 请 给 出 使 用 产品 的 代码 行 作为 基础 的 优 缺 点 。 代 码 行 只 适用 于 


白 盒 测试 ， 还 是 也 适合 黑 盒 测试 ? 


. 估计 涉及 自动 化 的 测试 项 目的 规模 和 工作 量 需 要 哪些 基本 数据 ? : 
. 假设 已 经 有 各 种 活动 的 历史 数据 ， 例 如 测试 计划 、 设 计 、 执 行 与 缺陷 修改 ， 适 配 或 修改 这 


些 历史 数据 以 直接 用 于 自己 的 项 目 时 ， 需 要 考虑 哪些 因素 ? 


.本 章 已 经 介绍 过 ， 风 险 指数 被 量化 为 风险 发 生 的 可 能 性 与 风险 影响 的 乘积 。 如 果 该 风险 发 


生 ， 如 何 估计 这 两 个 参数 ? 如 果 设 有 这 两 个 参数 的 量化 数据 ， 如 何 对 风险 进行 量化 ? 

我 们 讨论 了 各 种 基础 设施 组 件 〈 测 试用 例 数 据 库 、 缺 陷 库 、 配 置 管理 库 ) 。 如 何 协调 地 利用 
以 下 工具 提高 有 效 性 ? 

a. 为 给 定 版 本 选择 回归 测试 的 测试 用 例 ， 

b. 预测 修改 已 发 现 缺 陷 后 发 布 产 品 所 需 的 时 间 ， 

c. 根据 发 现 缺陷 的 有 效 性 维护 测试 用 例 。 


10. 修改 本 章 给 出 的 测试 计划 模板 ， 以 满足 自己 公司 的 需要 。 
11. 可 以 让 客户 访问 缺陷 库 吗 ? 如 果 可 以 ， 需 要 考虑 哪些 保密 问题 ? 
12. 测试 事件 报告 需要 包含 哪些 内 容 ? 注意 我 们 的 目标 是 在 测试 中 发 现 的 缺陷 最 终 要 被 修改 。 


13: 


公司 在 决定 产品 发 布 的 适宜 性 时 需要 考虑 哪些 因素 ? 


第 16 章 软件 测试 自动 化 


16.1 测试 自动 化 的 定义 


以 上 各 章 已 经 讨论 过 多 种 测试 类 型 ， 以 及 如 何 针对 这 些 测 试 类 型 开发 测试 用 例 。 经 过 这 
些 测 试用 例 的 运行 和 检查 ， 测 试 的 覆盖 率 和 质量 (连同 产品 的 质量 ) 肯定 会 得 到 改进 。 但 是 
这 会 带 来 一 个 问题 ， 即 运行 这 些 测试 用 例 需 要 额外 的 时 间 。 解 决 这 种 问题 的 一 个 方法 就 是 自 
动 运 行 大 部 分 需要 反复 运行 的 测试 用 例 。 

通过 开发 软件 来 测试 软件 叫做 测试 自动 化 。 测 试 自动 化 有 助 于 解决 多 种 问题 。 

自动 化 可 以 节省 时 间 ， 因 为 软件 执行 测试 用 例 比 人 工 执行 快 这 会 有 助 于 在 夜间 或 无 人 介 
入 地 执行 测试 。 这 样 节省 下 的 时 间 可 以 被 测试 工程 师 有 效用 于 : 

1. 开发 更 多 的 测试 用 例 以 得 到 更 好 的 覆盖 率 ; 

2. 执行 一 些 复杂 或 特殊 测试 ， 例 如 即兴 测试 ， 

3. 执行 额外 的 手工 测试 。 

通过 自动 化 节省 的 时 间 还 可 以 用 来 开发 额外 的 测试 用 例 ， 因 而 提高 测试 的 覆盖 率 。 此 外 ， 
自动 化 的 测试 可 以 在 夜间 执行 ， 压 缩 测 试 时 间 跨 度 ， 因 此 能 频繁 发 布 产品 。 

测试 自动 化 可 以 把 测试 工程 师 从 人 工 任务 中 解放 出 来 ， 使 他 们 能 把 注意 力 放 在 更 有 创造 
性 的 任务 上 第 10 章 介绍 过 即兴 测试 。 这 种 测试 需要 直觉 和 创造 力 ， 从 测试 用 例 没 有 涉及 的 视 
角 测 试 产品 。 如 果 有 太 多 的 计划 测试 用 例 需 要 手工 测试 ， 就 不 会 有 多 少 自动 化 ， 那 么 测试 团 
队 就 要 把 大 部 分 时 间 花 在 测试 执行 上 。 这 样 就 没有 发 挥 测试 团队 直觉 和 创造 力 的 余地 。 还 会 
使 测试 团队 感到 厌烦 和 枯燥 。 自 动 化 更 多 的 琐碎 工作 使 测试 工程 师 有 时 间 完 成 具有 创造 性 和 
挑战 性 的 任务 。 正 如 第 13 章 所 介绍 的 ， 激 励 测试 工程 师 是 一 个 重大 挑战 ， 而 自动 化 从 长 远 看 
有 助 于 应 对 这 种 挑战 。 

自动 化 测试 会 更 可 靠 当 工 程 师 反 复 多 次 地 手工 执行 某 个 特定 的 测试 用 例 时 ， 有 可 能 犯错 
误 或 出 现 偏见 ， 有 些 缺 陷 可 能 会 因此 而 被 遗漏 。 对 于 所 有 面向 计算 机 的 活动 ， 可 以 预期 自动 
化 在 任何 时 候 都 能 够 得 到 更 可 靠 的 结果 ， 并 能 够 消除 厌烦 和 枯燥 根源 。 

自动 化 有 助 于 立即 测试 自动 化 可 以 缩短 开发 与 测试 之 间 的 时 间 间 隔 ， 因 为 产品 一 完成 构 
建 就 可 以 执行 脚本 进行 测试 。 通 过 设计 ， 自 动 化 测试 可 以 在 构建 完成 之 后 自动 开始 。 自 动 化 
测试 不 需要 等 待 有 空间 的 测试 工程 师 。 

公司 通过 自动 化 可 以 减少 测试 工程 师 的 矛盾 自动 化 还 可 以 用 作 针 对 产品 进行 测试 工程 师 
培训 的 知识 转换 工具 ， 因 为 存储 了 产品 的 不 同 测试 用 例 。 对 于 手工 测试 ， 运 行 测试 得 到 的 任 
何 特殊 知识 或 “没有 形成 书面 文档 的 方法 ”都 会 随 着 该 测试 工程 师 的 离开 而 丢失 。 另 一 方面 ， 
自动 化 测试 使 得 测试 执行 更 少 依赖 人 员 。 

测试 自动 化 提供 了 更 好 利用 全 球 资源 的 机 会 手工 测试 需要 测试 工程 师 在 场 ， 而 自动 化 测 
试 可 以 一 天 二 十 四 小 时 、 一 周 七 天 地 随时 执行 。 这 还 使 位 于 世界 不 同 地 方 、 不 同时 区 的 团队 
监视 和 控制 测试 ， 因 此 提供 全 时 区 的 覆盖 。 
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有 些 类 型 的 测试 不 自动 化 不 能 执行 有 些 类 型 测试 的 测试 用 例 ， 例 如 可 靠 性 测试 、 压 力 测 

试 、 负 载 与 性 能 测试 ， 不 自动 化 就 不 能 执行 。 例 如 ， 如 果 要 检查 数 千 用 户 登 录 时 系统 的 表现 ， 

和 功 化 用 识 伯 出访 那么 不 使 用 自动 化 工具 是 不 能 执行 这 样 的 测试 的 。 
人 自动 化 意味 着 端 到 端 ， 并 不 只 是 测试 执行 自动 化 并 不 是 开发 了 测 
ey 试用 例 的 程序 就 完了 。 事 实 上 ， 开 发 完 程序 只 是 自动 化 的 开始 。 自 动 
一 一 一 一 一 一 一 一 化 要 考虑 所 有 活动 ， 例 如 选 出 正确 的 产品 版 本 、 选 择 正确 的 配置 、 执 
行 安装 、 运 行 测试 用 例 、 生 成 合适 的 测试 数据 、 分 析 测试 结果 、 过 滤 缺 陷 库 中 的 缺陷 。 在 讨 
论 自动 化 时 ， 头 脑 中 应 该 有 一 个 全 景 图 。 

自动 化 应 该 有 产生 测试 数据 的 脚本 ， 以 尽 可 能 多 地 覆盖 输入 的 排列 组 合 ， 产 生 预 期 输出 
的 脚本 ， 以 进行 测试 结果 比较 。 这 些 脚本 叫做 测试 数据 生成 器 。 确 定 所 有 输入 条 件 的 输出 并 
不 总 是 很 容易 。 即 使 所 有 输入 条 件 都 已 知 ， 预 期 结果 也 满足 ， 软 件 产生 的 错误 和 产品 出 错 后 
的 行为 也 可 能 是 难以 确定 的 。 自 动 化 脚本 应 该 能 够 动态 地 映射 错误 模式 ， 以 得 到 测试 结果 。 
错误 模式 映射 不 仅 要 得 出 测试 结果 ， 而 且 要 指出 错误 根源 。 自 动 化 的 定义 包括 这 方面 的 内 容 。 

以 上 已 经 提 到 过 ， 自 动 化 不 仅 要 覆盖 各 种 测试 活动 ， 而 且 当 进一步 采取 的 行动 未 知 或 不 
能 自动 判定 〈 例 如 ， 如 果 测试 结果 不 能 由 脚本 判断 是 否 通过 ) 时 ， 能 够 把 控制 返回 给 工程 师 ， 
这 一 点 也 很 重要 。 如 果 自动 化 脚本 判断 测试 结果 有 误 ， 这 种 结论 会 延迟 产品 的 发 布 。 如 果 自 
动 化 脚本 被 发 现 即 使 只 有 一 两 个 这 样 的 问题 ， 那 么 不 管 其 质量 如 何 ， 都 会 失去 信誉 ， 都 可 能 
不 能 在 后 续 的 发 布 周期 内 使 用 ， 团 队 还 会 依赖 手工 测试 。 这 可 能 会 使 公司 认为 自动 化 是 所 有 
问题 的 根源 ， 有 可 能 导致 公司 完全 忽略 自动 化 。 因 此 ， 自 动 化 不 仅 要 尽 可 能 覆盖 所 有 操作 活 
动 ， 而 且 在 必要 时 还 要 允许 人 的 介入 。 

在 自动 化 测试 用 例 时 需要 注意 所 有 的 需求 ， 人 员 转 换 或 轮换 运行 测试 用 例会 更 容易 地 做 
到 这 一 点 。 因 为 测试 的 目标 是 尽早 捕获 缺陷 ， 因 此 经 过 自动 化 的 测试 用 例 可 以 交 给 开发 人 员 ， 
让 他 们 作为 单元 测试 的 一 部 分 运行 这 些 测 试用 例 。 经 过 自动 化 的 测试 用 例 还 可 以 交 给 配置 管 
理工 程 师 (构建 工程 师 )， 以 便 版 本 构建 完 就 可 以 执行 测试 。 第 8 章 已 经 讨论 过 回归 测试 ， 很 
多 公司 都 实施 “每 天 出 一 个 版 本 和 冒 烟 测 试 ”策略 ， 以 保证 版 本 可 以 供 进 一 步 测试 ， 而 且 现 
有 的 功能 没有 因 变更 而 被 破坏 。 


16.2 自动 化 使 用 的 术语 


本 书 自由 使 用 “测试 用 例 ” 这 个 词 。 第 15 章 已 经 正式 把 测试 用 例 定义 为 执行 测试 操作 的 
一 组 顺序 步 又， 其 根据 是 为 产生 一 定 的 预期 输出 而 设计 的 一 组 预先 定义 的 输入 。 有 两 类 测试 
用 例 ， 一 类 是 自动 化 的 ， 一 类 是 手工 的 。 顾 名 思 义 ， 手 工 测试 用 例 要 手工 执行 ， 而 自动 化 测 
试用 例 可 自动 执行 。 除 非 另 外 说 明 ， 本 章 所 说 的 测试 用 例 都 指 自动 化 测试 用 例 。 在 执行 时 ， 
测试 用 例 永 远 都 有 一 个 与 之 关联 的 预期 结果 。 

测试 用 例 (手工 或 自动 化 的 ) 可 以 用 很 多 方式 表示 。 可 以 在 文档 中 写成 一 组 简单 的 步骤 ， 
也 可 以 是 一 个 或 一 组 判断 语句 。 判 断 的 一 个 例子 是 ,“ 打 开 一 个 已 经 打开 的 文件 应 失败 。 判 
断 语 名 在 自身 中 包含 了 预期 结果 ， 例 如 上 面 的 例子 ， 这 便于 自动 化 工程 师 编写 测试 步骤 和 判 
断 该 测试 用 例 结果 正确 性 对 应 的 代码 。 

前 面 已 经 介绍 过 ， 测 试 包括 多 个 阶段 和 多 种 测试 类 型 。 有 些 测 试用 例 要 在 产品 发 布 期 间 
内 重复 执行 多 次 ， 因 为 产品 要 构建 多 次 。 不 仅 测 试用 例 要 重复 使 用 ， 在 测试 用 例 中 所 描述 的 
一 些 操 作 也 要 重复 执行 。 有 些 基本 操作 ， 例 如 “登录 到 系统 ”通常 会 在 同一 产品 的 很 多 测试 
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用 例 中 执行 。 即 使 这 些 测试 用 例 (以 及 这 些 测试 用 例 中 的 操作 ) 重复 执行 ， 每 次 测试 的 意图 
或 关注 的 区 域 也 在 不 断 变 化 。 这 提供 了 针对 不 同 测试 目的 和 场景 重用 自动 化 代码 的 机 会 。 
表 16-1 给 出 了 登录 例子 中 的 一 些 测 试用 例 ， 说 明 登 录 怎样 在 不 同类 型 的 测试 中 被 测试 。 


表 16-1 用 于 不 同类 型 测试 的 相同 测试 用 例 





序号 用 于 测试 的 测试 用 例 所 属 的 测试 类 型 
1 检查 是 否 能 够 登录 功能 
2 登录 操作 循环 执行 48 小 时 可 靠 性 
3 10000 个 客户 进行 登录 负载 /压力 测试 
4 度量 不 同 条 件 下 登录 操作 所 用 的 时 间 性 能 
5 在 运行 日 文 的 计算 机 上 进行 登录 操作 国际 化 


表 16-1 可 以 针对 其 他 类 型 的 测试 进行 扩展 。 从 以 上 例子 可 以 看 出 ， 如 果 尝 试 对 产品 进行 
不 同类 型 的 测试 ， 可 以 对 产品 重复 进行 的 一 定 操作 (例如 登录 )。 如 果 记 住 这 一 点 ， 为 自动 化 
登录 操作 编写 的 代码 就 可 以 在 很 多 地 方 重用 ， 因 此 可 以 节省 工作 量 和 时 间 。 

如 果 仔 细 研 究 表 16-1 就 会 发 现 两 个 重要 因素 ,一 是 “要 测试 什么 操作 ， 二 是 “如 何 测 试 
这 些 操 作 。” 测 试用 例 的 “如 何 ” 部 分 叫做 场景 (在 表 16-1 中 用 楷体 表示 )。"“ 要 测试 什么 操作 ” 
是 与 具体 产品 有 关 的 特性 , “如 何 测试 这 些 操作 ”是 与 具体 框架 有 关 的 需求 。 与 具体 的 框架 / 
测试 工具 有 关 的 需求 不 仅 是 针对 测试 用 例 或 产品 的 ， 而 是 对 公司 内 所 有 被 测 产品 的 一 般 需 求 。 

自动 化 信念 的 基础 是 这 样 一 种 事实 ， 即 产品 操作 (例如 登录 ) 是 可 重复 的 ， 通 过 自动 化 基 
本 操作 且 把 不 同 场景 (如 何 测 试 ) 留 给 框架 /测试 工具 完成 ， 就 可 以 取得 很 大 进展 。 这 可 以 保 
证 针对 自动 化 的 代码 重用 ， 并 在 “必须 执行 什么 测试 ”和 “应 该 补充 什么 框架 或 测试 工具 ”之 
间 画 出 明确 的 界限 。 如 果 场 景 通过 产品 的 基本 操作 组 合 起 来 ， 就 成 为 经 过 自动 化 的 测试 用 例 。 

如 果 一 组 测试 用 例 被 组 合并 与 一 组 场景 关联 ， 就 叫做 “测试 包 ”。 测 试 包 只 不 过 是 被 自动 
化 的 一 组 测试 用 例 和 与 这 些 测试 用 例 关 联 的 场景 。 

图 16-1 给 出 了 以 上 讨论 的 术语 。 







用 户 定义 的 场景 CE 三 


区 如 何 执行 测试 


必须 执行 什么 测试 


图 16-1 测试 自动 化 的 框架 


16.3 自动 化 所 需 的 技能 


有 不 同 的 “自动 化 代 ”。 自 动 化 所 需 的 技能 取决 于 公司 所 处 的 自动 化 代 ， 或 期 望 不 远 的 将 
来 将 要 达到 的 自动 化 代 。 
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测试 自动 化 可 以 大 致 分 为 三 代 。 

第 一 代 一 一 记录 与 回放 记录 与 回放 可 避免 重复 执行 测试 用 例 。 市 场 上 几乎 所 有 的 测试 工 
具 都 具有 记录 与 回放 特性 。 测 试 工 程 师 记 录 键 盘 字符 或 鼠标 点 击 的 行动 序列 ， 并 在 以 后 按照 
录制 的 顺序 回放 这 些 所 记录 的 脚本 。 由 于 所 录制 的 脚本 可 以 回放 很 多 次 ， 所 以 可 以 减少 测试 
工作 。 除 了 可 以 避免 重复 工作 ， 录 制 和 保存 脚本 也 很 简单 。 但 是 这 一 代 工 具 也 有 -一些 缺点 。 
脚本 中 可 能 包含 一 些 硬 编码 的 取 值 ， 因 此 很 难 执行 一 般 类 型 的 测试 。 例 如 ， 如 果 报 告 必须 使 
用 当前 的 日 期 和 时 间 ， 那 么 就 很 难 使 用 已 录制 的 脚本 。 错 误 条 件 的 处 理 留 给 测试 人 员 ， 这 样 
回放 脚本 就 可 能 需要 很 多 人 工 介入 来 检测 和 更 正 错误 条 件 。 当 应 用 程序 变更 后 ， 所 有 脚本 都 
必须 重新 录制 ， 因 此 增加 了 测试 维护 的 成 本 。 所 以 ， 如 果 频 繁 出 现 变更 ， 或 没有 多 少 机 会 重 
用 或 重新 运行 测试 用 例 ， 那 么 这 一 代 测 试 自动 化 工具 的 有 效 性 就 可 能 很 低 。 

第 二 代 一 一 数据 驱动 这 种 方法 有 助 于 开发 生成 输入 条 件 集 和 对 应 预期 输出 的 测试 脚本 。 
PE 这 使 得 测试 可 以 针对 不 同 输入 和 输出 条 件 重复 执行 。 这 种 方法 所 用 的 
时 间 、 工 作 量 和 产品 开发 相同 。 但 是 ， 只 要 输入 条 件 和 预期 输出 仍然 





所 需 的 技能 之 间 建 立 

0 有 效 , 那么 应 用 程序 的 变更 就 不 要 求 自动 化 测试 用 例 也 作 相应 的 变更 。 

3 这 一 代 测 试 自动 化 工具 关注 输入 和 输出 条 件 ， 使 用 的 是 黑 盒 测试 
高 的 求 。 


方法 。 

第 三 代 一 一 行动 驱动 这 种 技术 使 外 行 也 可 以 创建 自动 化 的 测试 用 例 。 运 行 这 样 的 测试 用 
例 不 要 求 提供 输入 和 预期 输出 条 件 。 应 用 程序 中 出 现 的 所 有 行动 都 会 以 为 自动 化 定义 的 一 般 
控件 集 为 基础 ， 自 动 测试 。 行 动 集 表示 为 对 象 ， 重 用 这 些 对 象 。 用 户 只 需要 描述 操作 (例如 
登录 、 下 载 等 )， 其 他 所 需 的 一 切 都 会 自动 生成 和 使 用 。 输 入 和 输出 条 件 会 自动 生成 和 使 用 。 
使 用 这 一 代 测试 自动 化 工具 ， 测 试 执行 的 场景 可 以 使 用 测试 框架 动态 变更 。 因 此 ， 第 三 代 自 
动 化 包含 两 个 主要 因素 ， 测 试用 例 自 动 化 和 框架 设计 。 下 一 节 将 详细 介绍 框架 设计 问题 。 

通过 以 上 各 代 测 试 自动 化 可 以 看 出 ， 所 选 的 自动 化 代数 不 同 ， 所 需 的 技能 级 别 也 不 同 。 
第 三 代 自 动 化 引入 了 两 级 测试 用 例 开 发 和 框架 技能 ， 因 此 三 代 自动 化 所 需 的 自动 化 技能 可 以 
分 为 四 级 ， 如 表 16-2 所 示 。 





表 16-2 自动 化 技能 的 分 类 





自动 化 第 一 代 
测试 用 例 自 动 化 技能 
脚本 语言 
记录 -回放 工具 的 使 用 


自动 化 第 二 代 
测试 用 例 自 动 化 技能 
脚本 语言 

程序 设计 语言 





自动 化 第 三 代 

框架 技能 

程序 设计 语言 

创建 框架 的 设计 和 体系 结构 技能 



























测试 用 例 自 动 化 技能 
脚本 语言 
程序 设计 语言 










数据 生成 技术 知识 被 测 产品 的 设计 和 体系 结构 | 多 个 产品 的 通用 测试 需求 
被 测 产品 的 使 用 框架 的 使 用 








16.4 自动 化 的 对 象 与 范围 


产品 开发 的 第 一 个 阶段 是 需求 获取 ， 对 于 测试 自动 化 也 同样 如 此 ， 因 为 自动 化 的 输出 也 
可 以 看 作 是 一 种 产品 (自动 化 的 测试 用 例 )。 自 动 化 需求 定义 需要 自动 化 的 对 象 ， 包 括 各 个 方 
面 。 有 具体 的 需求 随 产品 的 不 同 而 不 同 ， 随 时 间 的 不 同 而 不 同 。 以 下 是 确定 自动 化 范围 的 一 般 
提示 。 
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16.4.1 确定 自动 化 负责 的 测试 类 型 


有 些 类 型 的 测试 本 身 自动 进行 自动 化 。 

压力 、 可 靠 性 、 可 伸缩 性 和 性 能 测试 这 些 类 型 的 测试 要 求 在 大 量 不 同 的 计算 机 上 以 一 定 
的 持续 时 间 运 行 测 试用 例 ， 比 如 24 小 时 、48 小 时 等 。 让 数 百 个 用 户 天 天 使 用 产品 简直 就 是 不 
可 能 的 ， 他 们 既 不 愿意 承担 重复 性 工作 ， 也 不 可 能 找到 那么 多 有 所 需 技能 的 人 群 。 属 于 这 些 
类 型 测试 的 测试 用 例 是 自动 化 的 第 一 候选 者 。 

回归 测试 回归 测试 是 重复 性 的 。 这 些 测试 用 例 在 产品 开发 各 个 阶段 要 执行 多 次 。 由 于 这 
些 测试 用 例 具 有 重复 性 ， 因 此 自动 化 从 长 远 看 会 显著 节省 时 间 和 工作 量 。 此 外 ， 正 如 未 章 已 
经 提 到 过 的 ， 所 节省 的 时 间 可 以 有 效 地 用 于 即兴 测试 和 其 他 更 具 创造 性 的 测试 。 

功能 测试 这 类 测试 可 能 需要 复杂 的 设置 ， 因 此 可 能 需要 当前 还 没有 普遍 具备 的 特殊 技能 。 
利用 专家 的 技能 一 次 性 自动 化 这 些 测 试用 例 ， 使 技能 不 那么 高 的 员工 也 可 以 马上 运行 这 些 测 
试用 例 。 

在 产品 开发 场景 中 ， 很 多 测试 需要 重复 ， 如 果 考 虑 了 定期 增强 和 维护 发 布 版 本 ， 好 的 

品 会 有 很 长 的 生命 期 。 这 就 提供 了 自动 化 测试 用 例 在 发 布 周期 内 多 次 执行 的 机 会 。 根 据 
一 般 经 验 ， 如 果 测 试用 例 在 不 久 的 将 来 ， 比 方 说 一 年 内 需要 执行 至 少 十 次 ， 如 果 自 动 化 工 
作 量 不 超过 执行 这 些 测试 用 例 的 十 倍 ， 那 么 就 可 以 考虑 自动 化 这 些 测 试用 例 。 当 然 ， 这 只 
是 根据 经 验 ， 有 具体 选择 哪些 测试 用 例 还 有 很 多 因素 需要 考虑 ， 例 如 是 否 具备 所 需 的 技能 、 
在 强大 的 发 布 日 期 压力 下 是 否 有 设计 自动 化 测试 脚本 的 时 间 、 工 具 的 成 本 、 是 否 有 所 需 的 
支持 等 。 

作为 自动 化 范围 的 总 结 ， 就 是 要 选择 自动 化 那些 能 够 以 最 少 的 时 间 延 迟 换 得 最 大 投入 回 
报 的 工作 (根据 以 上 给 出 的 指南 )。 


16.4.2 自动 化 不 太 可 能 变更 的 部 分 


在 产品 开发 过 程 中 ， 需 求 的 变更 是 很 常见 的 。 对 于 这 种 情况 ， 要 自动 化 的 对 象 是 很 容易 
确定 的 。 自 动 化 应 该 考虑 需求 不 变 或 没有 变更 的 部 分 。 需 求 变更 一 般 会 影响 场景 和 新 特性 ， 
不 会 影响 产品 的 基本 功能 。 第 10 章 在 讨论 汽车 制造 的 例子 中 已 经 解释 过 ， 汽 车 的 基本 组 件 ， 
例如 方向 盘 、 制 动 和 加 速 装置 都 已 经 很 多 年 没有 变化 了 。 在 自动 化 时 ， 要 首先 考虑 产品 的 这 
类 基本 功能 ， 以 便 用 作 “ 回 归 测试 床 ” 和 “日 常 构建 和 冒 烟 测试 ”。 

用 户 界面 在 项 目 开 发 中 通常 会 发 生 重大 变化 。 为 了 避免 对 自动 化 的 测试 用 例 进 行 返工 ， 
需要 进行 恰当 的 分 析 ， 找 出 用 户 界面 的 变化 部 分 ， 并 只 对 变化 相对 很 小 的 部 分 进行 自动 化 。 
产品 的 非 用 户 界面 部 分 可 以 首先 自动 化 。 在 自动 化 涉及 面向 用 户 界面 和 非 用 户 界面 (后 台 ) 
要 素 时 ， 给 出 明确 的 划分 ， 以 便 测 试用 例 既 可 以 一 起 执行 ， 也 可 以 独立 执行 。 这 可 以 保证 即 
使 GUI 发 生变 更 ， 自 动 化 的 非 GUI 部 分 也 能 够 被 重用 。 


16.4.3 自动 化 测试 符合 标准 


产品 的 一 项 测试 是 验证 与 标准 的 符合 性 。 例 如 ， 提 供 JDBC 接 口 的 产品 应 该 通过 标准 
JDBC 测 试 。 这 些 测试 变化 相对 较 小 ， 即 使 发 生变 更 也 具有 后 向 兼容 性 ， 自 动 化 脚本 也 可 以 继 
续 运 行 。 


提供 标准 的 自动 化 有 两 个 优点 。 针 对 标准 开发 的 测试 包 不 仅 可 以 用 于 产品 测试 ， 而 且 可 
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以 作为 测试 工具 在 市 面 上 出 售 。 市 场 上 的 很 多 工具 最 初 都 是 针对 内 部 使 用 开发 的 。 因 此 ， 针 
对 标准 的 自动 化 可 以 提供 销售 工具 的 机 会 。 

如 果 市 场 上 已 经 有 检查 这 类 标准 的 工具 ， 就 没有 理由 再 重新 发 明 轮 子 、 再 重新 构建 这 些 
测试 了 。 相 反 ， 注 意 力 应 该 放 在 还 没有 工具 的 其 他 区 域 和 向 其 他 工具 提供 接口 上 。 

针对 标准 的 测试 具有 一 定 的 法 律 和 公司 需求 。 为 了 认证 软件 或 硬件 ， 需 要 开发 测试 包 并 
交付 给 不 同 的 公司 。 每 次 在 发 布 软件 和 硬件 前 ， 支 持 公 司 都 要 执行 认证 测试 包 ， 这 叫做 “ 认 
证 测试 "， 每 次 执行 测试 时 都 要 求 完 全 兼容 的 结果 。 进 行 认证 测试 的 公司 可 能 对 产品 和 标准 了 
解 不 多 ， 但 要 完成 测试 的 绝 大 部 分 工作 。 因 此 ， 这 个 方面 的 自动 化 可 以 长 久 进行 下 去 ， 肯 定 
是 自动 化 要 关注 的 一 个 区 域 。 例 如 ， 有 些 公司 针对 其 软件 产品 开发 了 测试 包 ， 硬 件 制造 商 在 
发 布 新 的 硬件 平台 前 要 执行 这 些 测试 包 。 这 使 客户 可 以 判定 所 发 布 的 新 硬件 与 市 场 上 的 流行 
软件 产品 兼容 。 


16.4.4 自动 化 的 管理 问题 


在 开始 自动 化 前 ， 需 要 花 很 大 的 精力 取得 管理 层 的 承诺 。 自 动 化 一 般 要 耗费 大 量 工作 量 ， 
也 并 非 一 次 性 活动 。 自 动 化 的 测试 用 例 还 需要 维护 ， 直 到 产品 退出 市 
场 。 由 于 开发 和 维护 自动 化 工具 需要 大 量 的 工作 量 ， 因 此 取得 管理 层 
的 承诺 是 一 项 很 重要 的 活动 。 由 于 自动 化 在 很 长 时 间 内 都 需要 投入 ， 





要 自动 化 哪些 对 象 
需 考虑 技术 和 管理 因素 ， 
更 要 有 长 远 眼光 。 





因此 管理 层 的 批准 是 按 阶 段 按 部 分 进行 的 。 所 以 ， 自 动 化 工作 应 该 集 
中 于 已 经 存在 管理 层 承 诺 的 区 域 。 

投入 回报 也 是 需要 认真 考虑 的 一 个 方面 。 自 动 化 工作 量 估计 要 向 管理 层 提供 预期 投入 回 
报 的 明确 结论 。 在 启动 自动 化 时 ， 关 注 点 应 该 放 在 好 的 排列 组 合 区 域 上 。 这 使 自动 化 能 够 用 
较 少 的 代码 覆盖 较 多 的 测试 用 例 。 第 二 ， 自 动 化 应 该 首先 考虑 需要 较 短 时 间 易于 自动 化 的 测 
试用 例 。 有 些 测 试用 例 没 有 能 够 预先 确定 的 预期 结果 ， 这 类 测试 用 例 需 要 很 长 时 间 自 动 化 ， 
应 该 放 在 自动 化 的 后 期 阶段 。 这 可 以 满足 管理 层 寻求 自动 化 快速 投入 回报 的 要 求 。 

为 了 符合 Stephen Covey“ 重 要 事情 优先 做 ”[COVE-89] 的 原则 ， 重 要 的 是 要 首先 自动 化 
产品 的 关键 和 基本 功能 。 为 此 ， 所 有 测试 用 例 都 要 根据 客户 预期 分 为 高 、 中 、 低 优先 级 ， 自 
动 化 要 从 高 优先 级 的 测试 用 例 入 手 ， 然 后 覆盖 中 、 低 优先 级 需求 的 测试 用 例 。 


16.5 自动 化 的 设计 和 体系 结构 


设计 和 体系 结构 是 自动 化 的 一 个 重要 间 题 。 与 产品 开发 一 样 ， 设 计 也 要 通过 模块 和 模块 
之 间 的 交互 体现 所 有 的 需求 。 第 5 章 已 经 介绍 过 ， 设 计 和 体系 结构 需要 说 明 内 部 接口 和 外 部 接 
口 ， 在 图 16-2 中 ， 细 箭头 表示 内 部 接口 和 流程 方向 ， 粗 箭头 表示 外 部 接口 。 所 有 模块 、 模 块 
用 途 和 模块 之 间 的 交互 将 在 下 一 节 介 绍 。 

测试 自动 化 的 体系 结构 包括 两 个 主要 要 素 : 测试 基础 设施 包括 测试 用 例 数据 库 和 缺陷 库 。 
这 在 图 16-2 中 表示 为 外 部 模块 。 利 用 这 种 基础 设施 ， 测 试 框 架 可 以 提供 将 测试 用 例 的 选择 和 
执行 捆绑 在 一 起 的 骨干 。 
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图 16-2 测试 自动 化 的 组 件 


16.5.1 外 部 模块 


测试 自动 化 有 两 个 外 部 模块 ， 测 试用 例 数据 库 和 缺陷 库 。 第 15 章 详细 讨论 了 这 两 个 数据 
库 。 所 有 测试 用 例 、 执 行 测 试用 例 的 步骤 、 以 及 执行 历史 〈 例 如 特定 测试 用 例 的 执行 时 间 和 
是 否 通过 等 ) 都 存储 在 测试 用 例 数据 库 中 。 测 试用 例 数据 库 中 的 测试 用 例 可 以 是 手工 的 ， 也 
可 以 是 自动 化 的 。 图 16-2 中 的 粗 篆 头 接 口 表示 测试 用 例 数据 库 与 自动 化 测试 用 例 的 自动 化 框 
架 之 间 的 交互 。 请 注意 ， 手 工 测 试用 例 不 需要 与 框架 和 测试 用 例 数据 库 交 互 。 

缺陷 库 包 含 特定 公司 在 各 种 被 测 产品 中 发 现 的 所 有 缺陷 的 详细 信息 ， 包 括 缺 陷 和 所 有 相 
关 信息 〈 发 现 缺陷 的 时 间 、 分 配给 的 员工 、 当 前 状态 、 缺 陷 类 型 、 缺 陷 影响 等 ) 。 测 试 工程 师 
提交 手工 测试 用 例 发 现 的 缺陷 。 对 于 自动 化 测试 用 例 ， 框 架 可 以 在 执行 期 间 自 动 地 向 缺陷 库 
提交 缺陷 。 

这 些 外 部 模块 可 以 被 自动 化 框架 中 的 任何 模块 访问 ， 而 不 只 是 一 两 个 模块 。 在 图 16-2 中 ， 
深 绿 色 粗 箭头 表示 特殊 交互 ， 浅 蓝 色 粗 箭头 表示 多 重 交 互 。 


16.5.2 场景 与 配置 文件 模块 


前 面 几 节 介 绍 过 ， 场 景 只 不 过 就 是 有 关 “ 如 何 执行 特定 测试 用 例 ” 的 信息 。 

配置 文件 包含 一 组 在 自动 化 中 使 用 的 变量 。 这 些 变量 可 以 是 针对 测试 框架 的 ， 也 可 以 是 
针对 测试 自动 化 中 的 其 他 模块 的 ， 例 如 工具 与 指标 ， 也 可 以 是 针对 测试 包 、 一 组 测试 用 例 或 
一 个 特定 的 测试 用 例 。 配 置 文件 对 于 测试 用 例 在 不 同 执行 条 件 下 的 运行 ， 以 及 针对 不 同 输入 


和 输出 条 件 和 状态 的 执行 是 很 重要 的 。 在 这 种 配置 文件 中 的 变量 取 值 可 以 动态 改变 ， 以 实现 
不 同 的 执行 、 输 入 、 输 出 和 状态 条 件 。 


16.5.3 测试 用 例 与 测试 框架 模块 


图 16-2 中 的 “测试 用 例 ” 表 示 来 自 测 试用 例 数 据 库 并 由 框架 执行 的 自动 化 测试 用 例 。 测 
试用 例 是 供 体系 结构 中 其 他 模块 执行 的 对 象 ， 本 身 并 不 表示 任何 交互 。 
“测试 框架 ”是 将 “要 执行 什么 ”和 “如 何 执行 测试 ”结合 在 一 起 的 模块 。 测 试 框架 从 测 
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试用 例 数据 库 中 提取 要 自动 化 的 特定 测试 用 例 ， 提 取 场 景 并 执行 。 测 试 框架 提取 变量 及 其 定 
义 的 取 值 ， 并 用 这 些 取 值 执行 测试 用 例 。 

测试 框架 被 认为 是 自动 化 设计 的 核心 ， 它 为 测试 用 例 赋予 不 同 的 场景 。 例 如 ， 如 果 有 场 
景 要 求 48 小 时 循环 执行 一 个 特定 测试 用 例 ， 那 么 测试 框架 就 会 循环 执行 测试 用 例 ， 直 到 达到 
48 小 时 。 框 架 会 监视 每 次 迭代 的 执行 结果 ， 并 把 结果 存储 起 来 。 测 试 框架 包含 交互 、 启 动 并 
控制 所 有 模块 的 主 逻 辑 。 下 一 节 将 介绍 测试 框架 的 各 种 需求 。 

测试 框架 可 以 由 公司 内 部 开发 ， 也 可 以 向 提供 商 购买 。 本 章 混用 测试 框架 和 测试 工具 这 
两 个 术语 。 在 本 章 中 这 两 个 术语 的 差别 (如果 需 要 区 分 ) 是 ,， “框架 ” 表 示 公 司 开发 的 内 部 工 
有 具 ,“ 测 试 工具 ”表示 向 提供 商 购买 的 工具 。 


16.5.4 工具 与 结果 模块 


当 测 试 框 架 执行 其 操作 时 ， 可 能 需要 一 组 工具 。 例 如 ， 当 测试 用 例 作为 源 代 码 文件 存储 
在 测试 用 例 数 据 库 中 时 ， 需 要 由 构建 工具 提取 并 编译 。 为 了 运行 编译 后 的 代码 ， 可 能 需要 特 
定 的 运行 时 间 工 具 和 实用 程序 ， 例 如 可 能 需要 IP 分 组 模拟 器 、 用 户 登 录 模 拟 器 或 计算 机 模拟 
器 。 在 这 种 情况 下 ， 测 试 框架 会 调用 所 有 这 些 不 同 的 工具 和 实用 程序 。 

当 测 试 框架 执行 一 组 测试 用 例 时 ， 要 使 用 由 配置 文件 提供 的 不 同 取 值 下 的 一 组 场景 ， 要 将 
每 个 测试 用 例 的 执行 结果 ， 连 同 对 应 的 场景 和 变量 值 一 起 存储 ， 供 进一步 分 析 和 处 理 。 测 试 
框架 运行 测试 用 例 得 到 的 结果 不 能 覆盖 以 前 运行 测试 用 例 得 到 的 结果 。 应 该 记录 所 有 以 前 运 
行 的 历史 结果 ， 并 归档 保存 。 归 档 结 果 有 助 于 根据 以 前 的 测试 结果 执行 测试 用 例 。 例 如 ， 测 
试 工程 师 可 以 要 求 测试 框架 “执行 所 有 以 前 运行 没有 通过 的 测试 用 例 。” 对 所 有 测试 的 审计 和 
相关 信息 存储 在 自动 化 模块 中 。 正 如 第 8 章 所 介绍 的 ， 这 也 有 助 于 选择 回归 测试 的 测试 用 例 。 


16.5.5 报告 生成 器 与 报告 /指标 模块 


一 旦 得 到 测试 运行 的 结果 ， 下 一 步 就 是 准备 测试 报告 和 指标 。 准 备 报告 是 一 项 很 复杂 的 
工作 ,很 费时 间 ， 因 此 是 自动 化 设计 的 一 部 分 。 应 该 有 经 过 定制 的 报告 ， 例 如 执行 报告 ， 给 
出 非常 高 层 的 状态 ， 技 术 报告 ， 提 供 中 等 详细 程度 的 测试 结果 ， 详细 或 调试 报告 ， 供 开发 人 
员 调 试 未 通过 测试 用 例 和 产品 时 参考 。 报 告 的 频 度 也 是 不 同 的， 例如 日 报 、 周 报 、 月 报 和 里 
程 碑 报告 。 不 同 详细 程度 、 不 同 频 度 的 报告 可 以 满足 多 种 人 员 的 需要 ， 因 此 能 够 得 到 重要 的 


反馈 。 
提取 必要 的 输入 并 准备 格式 化 报告 的 模块 叫做 “报告 生成 器 *。 一 旦 有 了 测试 结果 ， 报 告 
生成 器 就 可 以 生成 指标 。 


所 生成 的 所 有 报告 和 指标 都 存储 在 自动 化 的 报告 /指标 模块 中 ， 以 备 日 后 使 用 和 分 析 。 


16.6 测试 工具 /框架 的 一 般 需 求 


上 一 节 介 绍 了 测试 自动 化 的 一 般 框架 ， 以 下 介绍 这 种 框架 及 其 使 用 应 该 满足 的 具有 一 定 
详细 程度 的 准则 。 
在 解释 需求 时 ， 这 里 使 用 假想 的 元 语言 为 例 ， 以 便于 理解 概念 。 





需求 1: 在 测试 包 中 


读者 应 该 验证 自己 所 选 自动 化 工具 的 可 用 性 、 句 法 和 语意 。 
不 要 包含 硬 编码 


对 测试 包 的 一 个 重要 需求 , 是 把 所 有 变量 放 到 一 个 独立 的 文件 中 。 
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通过 这 种 实践 ， 测 试 包 的 源 代码 在 针对 变量 的 不 同 取 值 运行 时 不 必 每 次 都 修改 。 这 使 不 了 解 
程序 的 测试 人 员 也 能 够 改变 这 些 取 值 ， 并 运行 测试 包 。 前 面 介绍 过 ， 测 试 包 的 变量 叫做 配置 
变量 。 保 存 所 有 变量 名 及 其 相关 取 值 的 文件 叫做 配置 文件 。 很 有 可 能 配置 文件 中 有 多 个 变量 ， 
有 些 变量 是 针对 测试 工具 的 ， 有 些 变量 是 针对 测试 包 的 。 属 于 测试 工具 的 变量 和 测试 包 需 要 
分 开 ， 使 得 测试 包 的 用 户 不 必 考虑 测试 工具 变量 。 此 外 ， 不 知道 测试 工具 变量 的 用 途 就 无 意 
地 对 其 修改 ， 可 能 会 影响 测试 的 结果 。 为 每 个 变量 提供 行内 注释 会 使 测试 包 更 好 用 ， 还 可 以 
避免 不 恰当 地 使 用 变量 。 以 下 给 出 一 个 编写 良好 的 配置 文件 。 








# 测 试 框架 配置 参数 

# 警 告 ， 未 咨询 系统 管理 员 前 不 要 修改 此 设置 

TOOL PATH=/tools # 测 试 工具 路 径 

COMMONLIB PATH=/tools/crm/1ib # 公 共 库 函数 

SUITE PATH=/tools/crm # 测 试 包 路 径 

# 测 试 包 中 所 有 测试 用 例 都 通用 的 参数 

VERBOSE LEVEL=3 # 显 示 在 屏幕 上 的 消息 级 别 
MAX_ERRORS=200 # 测 试 包 退 出 前 所 允许 的 最 大 错误 数 
USER_PASSWD=hel1lo123 # 系 统管 理 员 口 令 

# 测 试用 例 1 参 数 

TC1 USR CREATE=0 # 是 否 创建 用 户 ，1= 是 ，0= 否 
TC1_USR PASSWD=hellol # 用 户口 令 

TC1_USR PREFIX=user ## 用 户 前 组 

TC1 MAX_USRS=200 # 最 大 用 户 数 


在 涉及 多 个 发 布 版 本 、 多 个 测试 周期 和 缺陷 修改 的 产品 场景 中 , 测试 用 例会 发 生 很 多 变更 ， 
还 会 在 测试 包 中 增加 新 的 测试 用 例 。 测 试用 例 修改 和 新 测试 用 例 插入 不 能 使 现 有 测试 用 例 失 
败 。 如 果 这 种 修改 和 新 测试 用 例 影响 到 测试 包 的 质量 ， 就 违反 了 自动 化 的 宗旨 ， 测 试 包 的 维 
护 需 求 成 本 就 会 增高 。 类 似 地 ， 测 试 工具 不 仅 用 于 拥有 一 个 测试 包 的 需求 2: 测试 用 例 和 
一 个 产品 ， 而 是 面向 有 多 个 测试 包 的 不 同 产品 。 在 这 种 情况 下 ， 在 框 ”测试 包 具有 可 扩展 性 
架 中 增加 测试 包 而 不 影响 其 他 测试 包 是 非常 重要 的 。 归 纳 起 来 就 是 : 让 

。 增 加 测试 用 例 不 能 影响 其 他 测试 用 例 ， 

。 增 加 测试 用 例 不 能 导致 对 整个 测试 包 的 重新 测试 ， 

。 在 框架 中 增加 新 的 测试 包 不 能 影响 现 有 的 测试 包 。 

在 “登录 ”例子 中 介绍 过 ， 产 品 功能 在 不 同 的 场景 下 就 成 为 不 同类 型 测试 的 测试 用 例 。 
这 有 利于 在 自动 化 中 重用 代码 。 通 过 遵循 框架 和 测试 包 的 目标 分 别 包含 自动 化 的 “如 何 ” 和 
“什么 ”部 分 ， 可 以 提高 测试 用 例 的 重用 程度 。 代 码 的 重用 不 仅 适用 于 各 种 类 型 的 测试 ， 而 且 





适用 于 自动 化 内 的 模块 。 多 个 测试 用 例 需 要 的 所 有 功能 都 可 以 分 别 包 需求 3: 针对 不 同 测 
含 在 库 中 。 在 编写 自动 化 代码 时 ， 通 过 提供 功能 、 库 和 包含 文件 ， 可 试 类 型 和 测试 用 例 重 用 
以 使 测试 用 例 模块 化 。 归 纳 起 来 就 是 : 代码 

1. 测试 包 只 能 做 所 期 望 做 的 事 ， 测 试 框架 需要 处 理 “ 如 何 ”方面 
的 问题 ， 


2. 测试 程序 需要 模块 化 ， 有 利于 代码 的 重用 。 

对 于 每 个 测试 用 例 都 可 能 有 一 些 在 运行 前 要 满足 的 前 提 。 测 试用 例 可 能 预期 创建 了 一 些 
对 象 ， 或 产品 的 一 部 分 已 经 以 特定 的 方式 配置 。 如 果 这 类 前 提 不 能 被 自动 化 满足 ， 那 么 在 运 
行 测 试用 例 之 前 需要 人 工 介 入 。 如 果 测 试用 例 预 期 特定 的 环境 运行 ， 会 很 难 记 住 每 个 测试 用 
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例 所 要 求 的 环境 ， 并 以 手工 方式 进行 设置 。 因 此 ， 每 个 测试 程序 都 应 该 有 在 执行 该 测试 用 例 
= 前 创建 必要 的 环境 “设置 ”程序 。 测 试 框架 应 该 有 能 力 发 现 要 执行 哪 
eh 些 测试 用 例 ， 以 及 需要 调用 的 合适 设置 程序 。 
3 一 个 测试 用 例 的 设置 对 于 另 一 个 测试 用 例 可 能 是 负面 的 。 因 此 ， 

重要 的 是 不 仅 要 创建 环境 ， 而 且 要 能 在 该 测试 用 例 执行 完 立 即 “ 撤 销 ” 这 些 设置 。 因 此 ,“ 清 

理 ” 程 序 就 变 得 很 重要 ， 测 试 框架 应 能 在 执行 完 测 试用 例 后 调用 这 种 程序 。 

需求 2 讨论 了 测试 用 例 的 可 扩展 性 。 测 试用 例 不 仅 要 在 设计 阶段 中 独立 ， 在 执行 阶段 也 要 
独立 。 为 了 执行 特定 的 测试 用 例 ， 不 能 期 望 以 前 已 经 执行 过 其 他 测试 
用 例 , 也 不 能 隐 含 地 假设 本 测试 用 例 执 行 完 还 要 执行 另外 的 测试 用 例 。 
一 一 每 个 测试 用 例 都 应 该 单独 执行 ， 在 测试 用 例 之 间 不 能 存在 依赖 关系 ， 

例如 测试 用 例 2 要 在 测试 用 例 1 之 后 运行 等 。 这 种 需求 使 测试 工程 师 能 够 以 随机 选择 和 执行 任 

何 测 试用 例 ， 不 必 考 虑 其 他 依赖 关系 。 

与 需求 5 相反 ， 有 时 测试 用 例 也 需要 相互 依赖 。 使 测试 用 例 独 立 能 够 随机 选择 和 执行 任何 
一 6， 测试 用 例 要 测试 用 例 。 使 测试 用 例 相 互 依赖 ， 必 须 在 选择 执行 一 个 依赖 测试 用 例 
有 依赖 性 执行 之 前 或 之 后 执行 一 个 特殊 测试 用 例 。 测 试 工具 或 框架 要 提供 这 两 

种 特性 。 框 架 要 有 助 于 动态 地 描述 测试 用 例 之 间 的 依赖 关系 。 

通过 环境 隔离 测试 用 例 是 对 框架 或 测试 工具 的 一 个 重要 需求 。 在 执行 测试 用 例 时 ， 系 统 中 
一 过 求 7， 在 执行 期 间 可 能 有 事件 、 中 断 或 信号 影响 执行 。 例 如 Web 浏 览 器 中 自动 弹出 的 窗 
隔离 测试 用 例 口 。 如 果 在 执行 测试 用 例 时 出 现 这 种 弹出 窗口 ， 就 会 影响 测试 用 例 的 

执行 ， 因 为 测试 包 可 能 根据 测试 用 例 中 前 一 步 预期 出 现 某 个 其 他 窗口 。 

因此 ， 为 了 避免 测试 用 例 由 于 不 可 预见 的 事件 失败 ， 框 架 要 向 用 户 提供 屏蔽 某 些 事件 的 

选项 。 框 架 中 必须 有 选项 描述 什么 事件 会 影响 测试 包 ， 什 么 事件 不 会 。 

将 测试 包 的 标准 和 合适 的 目录 结构 写 人 代码 ， 有 助 于 新 工程 师 快速 理解 测试 包 和 测试 包 
一 的 维护 。 将 标准 写 入 代码 可 提高 测试 包 的 可 移植 性 。 测 试 工具 应 有 选 
录 结 构 写 入 代码 项 描述 (有 时 要 强制 ) 将 标准 写 入 代码 ， 例 如 POSIX、XPG3 等 。 测 
试 框架 应 提供 选项 或 强制 将 目录 结构 写 入 代码 ， 使 多 个 程序 员 能 够 并 
行 开发 测试 包 和 测试 用 例 ， 不 会 通过 重用 部 分 代码 复制 测试 用 例 的 各 个 部 分 。 

一 个 框架 可 能 有 多 个 测试 包 ， 一 个 测试 包 可 能 有 多 个 测试 程序 ， 一 个 测试 程序 可 能 有 多 
OR 个 测试 用 例 。 测 试 工 具 或 框架 要 能 够 使 测试 工程 师 选择 一 个 特定 的 测 
需求 9; 测试 用 全 的 试用 例 或 一 组 测试 用 例 并 执行 。 测 试用 例 的 选择 不 需 限制 顺序 ， 允 许 
ee 以 任何 方式 组 合 。 允 许 测试 工程 师 选择 测试 用 例 可 以 节省 时 间 ， 把 注 

意 力 集中 在 要 执行 和 分 析 的 测试 用 例 上 。 这 些 选择 一 般 作 为 场景 文件 的 一 部 分 ， 可 以 通过 编 

辑 场景 文件 ， 在 运行 这 些 测试 用 例 之 前 动态 地 选择 。 

例 : 

test-program-name 2, 4, 1, 7-10 

在 上 面 的 场景 行 中 ， 选 择 了 测试 用 例 2、4、1、7、8、9、10， 并 按 此 顺序 执行 。 用 连 字 
计 衣 10， 出 议 用 何 ” 符 《-) 表示 所 选择 的 测试 用 例 范围 即 从 7 到 10 都 执行 。 如 果 在 上 面 

, 二 本 的 例子 中 没有 提 到 测试 用 例 数 字 ， 那 么 测试 工具 要 有 能 力 执行 所 有 的 
7 测试 用 例 。 


需求 8 要 求 测试 工程 师 在 可 用 的 测试 用 例 中 选择 测试 用 例 ， 同 样 的 测试 工程 师 有 时 会 需要 


需求 5: 测试 用 例 要 
独立 
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从 一 组 测试 用 例 中 随机 地 选择 测试 用 例 。 给 出 一 组 测试 用 例 ， 并 期 望 测试 工具 选择 测试 用 例 
叫做 测试 用 例 的 随机 执行 。 测 试 工程 师 从 测试 包 中 选择 一 组 测试 用 例 ， 由 测试 工具 从 给 出 的 
列表 中 随机 选择 一 个 测试 用 例 。 以 下 是 说 明 随机 执行 的 两 个 例子 。 

例 1: 

random 


test-program-name 2, 1, 5 


例 2: 

random 
test=programl (2; 1; 5) 
test-program2 


test-program3 
在 第 一 个 例子 中 ， 测 试 工程 师 要 测试 工具 从 测试 用 例 2、1、5 中 选 一 个 并 执行 。 在 第 二 个 
例子 中 ， 测 试 工程 师 要 从 测试 程序 1、2、3 中 随机 地 选 一 个 执行 。 如 果 程 序 1 被 选中 ， 则 随机 
地 执行 测试 用 例 2、1、5 中 的 一 个 。 在 这 个 例子 中 ， 如 果 程 序 2 或 3 被 选中 ， 则 该 程序 中 的 所 有 
测试 用 例 都 要 执行 。 





有 些 缺 陷 要 在 特定 测试 用 例 同时 运行 时 才 会 暴露 出 来 。 在 多 任务 We 
和 多 进程 操作 系统 中 ， 有 可 能 创建 多 个 测试 例 程 ， 并 并 行 运行 这 些 例 
程 。 并 行 执行 可 模拟 多 台 计算 机 运行 相同 测试 的 行为 ， 因 此 对 于 性 能 和 负载 测试 非常 有 用 。 

例 1: 


instances, 5 





Test-programl (3) 


例 2: 
instances, 5 

test-programl (2; 17 5) 
test-program2 


test-program3 

在 上 面 的 第 一 个 例子 中 ， 要 创建 5 个 测试 程序 1 的 测试 用 例 3 例 程 。 在 第 二 个 例子 中 ， 要 创 
建 三 个 测试 程序 的 5 个 例子 。 在 每 个 例 程 中 ， 都 要 创建 5 个 用 例 ， 顺 序 执行 测试 程序 1、2、3。 

前 面 已 经 介绍 过 ， 可 靠 性 测试 需要 循环 执行 测试 用 例 。 有 两 种 循 _ 
环 。 一 种 是 迭代 循环 ， 给 出 特定 测试 用 例 要 执行 的 迭代 次 数 。 第 二 种 轨 球 12: 测试 用 全 
是 定时 循环 ， 循 环 一 直 进行 ， 直 到 所 指定 的 时 间 停止 。 这 些 循环 可 以 ”的 箱 环 
解决 可 靠 性 测试 问题 。 

例 1: 


Repeat loop, .50 
Test-programl (3) 


例 2: 

Time loop, 5 hours 
test-programl (2, 1, 5) 

test-program2 
test-program3 


在 上 面 的 第 一 个 例子 中 ， 测 试 程序 1 的 测试 用 例 3 要 重复 执行 350 次 。 在 第 二 个 例子 中 ， 测 
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试 程序 1 的 测试 用 例 2、1、5 和 测试 程序 2 和 3 的 所 有 测试 用 例 顺 序 循环 执行 5 个 小 时 。 
二 前 面 介绍 了 测试 执行 的 很 多 需求 和 场景 。 以 下 讨论 如 何 将 这 些 单 
及 进行 分 如 个 的 场景 组 合 为 组 ， 以 结合 很 多 测试 用 例 长 时 间 地 运行 。 场 景 组 使 所 
选择 的 测试 用 例 能 够 同时 顺序 、 随 机 、 循 环 执行 ， 允 许多 个 测试 用 例 
在 预先 确定 的 场景 组 合 条 件 下 执行 。 

以 下 是 场景 组 的 一 个 例子 。 

例 : 


group _ scenariol 





parallel, 2 AND repeat, 10 @scenl 
scenl 

test-programl (2y 二 35) 

test-program2 


test-program3 


在 上 面 的 例子 中 ,创建 了 场景 组 循环 10 次 执行 单个 场景 “scen1” 的 两 个 例 程 。 单 个 场景 
定义 为 执行 测试 程序 1 (测试 用 例 2、1 和 5)、 测 试 程序 2 和 测试 程序 3。 因 此 在 这 个 场景 组 中 ， 
两 个 例 程 要 同时 循环 10 次 执行 所 有 的 测试 用 例 。 

第 8 章 提 到 过 回归 测试 方法 论 要 求 根据 以 前 的 测试 结果 和 历史 来 
选择 测试 用 例 。 因 此 ， 如 果 选 择 测试 用 例 时 不 考虑 以 前 的 测试 结果 ， 
则 自动 化 就 不 能 提供 多 少 帮助 。 不 仅 是 回归 测试 ， 其 他 类 型 的 测试 也 

有 这 样 的 需求 。 一 种 有 效 的 实践 是 选择 没有 执行 过 的 测试 用 例 ， 以 及 以 前 执行 未 通过 的 测试 

用 例 ， 并 关注 这 些 测试 用 例 。 依 据 以 前 的 测试 结果 执行 测试 用 例 的 常见 场景 有 : 

1. 重新 运行 以 前 执行 过 的 所 有 测试 用 例 ， 

2. 从 上 一 次 停 下 来 的 地 方 恢复 运行 测试 用 例 ， 

3. 只 重新 运行 未 通过 或 未 运行 的 测试 用 例 ， 

4. 执行 在 “2005 年 1 月 26 日 ”执行 过 的 所 有 测试 用 例 。 

借助 自动 化 ， 如 果 测 试 工具 或 框架 能 够 帮助 进行 这 类 选择 ， 那 么 完成 这 类 任务 非常 容易 。 
大 多 数 产品 测试 都 需要 使 用 多 台 计 算 机 。 因 此 需要 有 能 力 通 过 一 个 集中 场地 同时 局 动 多 

台 计 算 机 的 测试 。 这 人 台中 心计 算 机 将 测试 用 例 分 配给 多 台 计 算 机 ， 并 协调 其 执行 和 采集 结果 
一 数据 ， 这 种 中 心计 算 机 叫做 测试 榨 制 台 或 测试 监视 器 。 如 果 没 有 测试 
而 过 中 册 控制 台 ， 不 仅 在 多 台 计 算 机 的 执行 测试 很 困难 ， 而 且 从 这 些 计算 机 上 
一 一 一 一 一 采集 执行 结果 也 很 困难 。 如 果 没 有 测试 控制 台 ， 就 需要 人 工 收集 和 整 

理 测 试 结果 。 因 为 引入 人 工 步骤 违背 了 自动 化 的 宗 虽 ， 因 此 这 是 对 框架 的 一 个 很 重要 的 要 求 。 

归纳 起 来 就 是 : 

能 够 通过 测试 控制 台 ， 执 行 或 停止 任何 一 台 或 一 组 计算 机 上 的 测试 包 ， 

能 够 通过 测试 控制 台 采 集 测试 结果 和 日 志 记 录 ，; 

。 能 够 通过 测试 控制 台 了 解 测试 进展 。 

图 16-3 描 述 了 测试 控制 台 和 多 台 测 试 计算 机 所 充当 的 角色 。 

需求 14 要 求 根据 以 前 的 结果 重复 执行 测试 用 例 。 为 了 证 实测 试 结 


”需求 14， 概 据 以 前 
的 结果 执行 测试 用 例 











需求 16: 自动 归档 。 果 或 重 现 问题 ， 重 复 执行 测试 用 例 是 不 够 的 。 测 试用 例 必 须 以 与 以 前 
测试 数据 一样 的 方式 重复 ， 具 有 同样 的 场景 、 同 样 的 配置 变量 和 取 值 等 。 这 要 
求 把 测试 用 例 的 所 有 相关 信息 归档 。 因 此 ， 这 种 需求 对 于 重复 执行 测试 用 例 进行 分 析 非常 重 
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要 。 测 试 数据 的 归档 必须 包括 : 
1. 使 用 的 什么 配置 变量 ， 
2. 使 用 的 什么 场景 
3. 执行 的 什么 程序 ， 通 过 什么 路 径 执行 。 






到 A 

< 5 

SS ee 之 
NN < 





p 运程 执行 
图 16-3 测试 控制 台 和 多 台 执 行 计算 机 的 角色 


每 个 测试 包 都 要 有 一 个 报告 生成 模式 ， 通 过 这 种 模式 可 以 抽取 有 意义 的 报告 。 讨 论 框 架 
的 设计 和 体系 结构 时 已 经 介绍 过 ， 报 告 生成 器 应 该 有 能 力 检查 结果 文件 并 生成 各 种 报告 。 因 
此 , 尽管 报告 生成 器 用 于 动态 生成 报告 , 但 是 很 难说 清 需 要 什么 信息 、 


需求 17: 报告 生成 
不 需要 什么 信息 。 因 此 ， 需 要 在 结果 文件 中 存储 有 关 测 试用 例 的 所 有 
周 息 


模式 
Bno 


不 仅 是 配置 变量 会 影响 测试 用 例 及 其 执行 结果 ， 产 品 和 操作 系统 的 可 调谐 参数 也 需要 归 
档 ， 以 保证 可 重复 性 和 缺陷 的 分 析 。 

审计 日 志 记 录 对 于 分 析 测 试 包 和 产品 的 行为 非常 重要 。 日 志 记录 保存 每 个 操作 的 详细 信 
息 ， 例 如 什么 时 候 调用 的 操作 、 变 量 的 取 值 、 操 作 完 成 的 时 间 。 对 于 性 能 测试 ， 日 志 记录 保 
存 的 信息 有 框架 调用 的 时 间 、 场 景 启动 的 时 间 、 特 定 测试 用 例 的 启动 时 间 及 其 对 应 的 完成 时 
间 ， 这 对 于 计算 产品 的 性 能 很 重要 。 因 此 ， 报 告 模式 应 该 包括 ; 

1. 框架 、 场 景 、 测 试 包 、 测 试 程序 和 每 个 测试 用 例 的 启动 和 结束 时 间 ， 

2. 每 个 测试 用 例 的 执行 结果 ， 

日 志 记 录 消 息 ， 

4. 事件 类 别 和 事件 记录 ， 

5. 审计 报告 。 

在 为 自动 化 编码 时 ， 有 些 测 试用 例 采 用 工具 提供 的 脚本 语言 比较 容易 编码 ， 有 些 工具 采 








需求 18: 语言 的 独 
立 性 
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用 C， 有 些 采 用 C+ 十 和 等。 因此， 框架 或 测试 工具 应 提供 在 该 软件 开发 领域 流行 的 语言 和 脚本 
选择 。 不 管 自动 化 使 用 什么 语言 或 脚本 ， 框 架 都 要 以 同样 的 方式 运行 ， 满 足 所 有 需求 。 很 多 
测试 工具 都 强制 使 用 特定 的 语言 ， 或 强制 使 用 专用 的 脚本 语言 编写 测试 脚本 。 应 避免 这 种 情 
况 ， 因 为 要 学 习 新 的 语言 ， 而 这 会 对 自动 化 产生 影响 。 归 纳 起 来 就 是 : 

。 框 架 应 该 独立 于 程序 设计 语言 和 脚本 ， 

。 框 架 应 该 提供 程序 设计 语言 、 脚 本 及 其 组 合 的 选择 ， 

。 框 架 或 测试 包 不 应 强制 使 用 一 种 语言 或 脚本 ， 

。 框 架 或 测试 包 应 能 与 采用 不 同 的 语言 和 脚本 编写 的 不 同 的 测试 程序 一 起 使 用 ， 

。 框 架 应 该 有 输出 接口 以 支持 所 有 流行 的 标准 语言 和 脚本 ， 

。 框 架 使 用 的 内 部 脚本 和 选项 应 该 允许 测试 包 的 开发 人 员 迁 移 到 更 好 的 框架 上 。 

随 着 独立 于 平台 的 语言 和 技术 的 出 现 ， 市 场 上 有 很 多 产品 支持 多 种 操作 系统 和 语言 平台 。 
产品 是 跨 平 台 的 ， 而 测试 框架 不 能 在 其 中 的 有 些 平 台 上 运行 ， 这 不 利 
于 自动 化 。 因 此 ， 测 试 工具 和 框架 要 能 够 跨 平 台 ， 能 够 在 被 测 产 品 支 
持 的 各 种 平台 和 环境 中 运行 ， 这 是 很 重要 的 。 

因为 测试 工具 需要 跨 平 台 ， 因 此 针对 产品 的 测试 包 也 跨 平 台 ， 或 通过 少量 的 工作 就 可 移 
植 到 其 他 平台 上 也 是 很 重要 的 。 

除了 测试 工具 的 跨 平 台 能 力 检 查 单 ， 检 查 平台 体系 结构 也 很 重要 。 例 如 ， 市 场 上 有 64 位 
操作 系统 和 在 64 位 体系 结构 中 运行 的 产品 。 被 测 产品 是 64 位 ， 而 测试 包 是 32 位 的 应 用 程序 可 
能 不 会 是 大 问题 ， 因 为 所 有 具有 兼容 性 的 平台 都 支持 运行 在 32 位 体系 结构 上 的 老 应 用 程序 。 
但 是 ， 这 可 能 不 能 发 现 产品 中 的 一 些 缺 陷 。 在 不 提供 后 向 兼容 性 的 纯 64 位 环境 〈 例 如 Digital 
的 Tru64) 中 ， 这 些 32 位 的 测试 包 根 本 不 能 运行 。 归 纳 起 来 就 是 : 

。 框 架 及 其 接口 应 该 被 各 种 平台 支持 ; 

。 对 不 同 平台 的 兼容 性 是 对 测试 工具 和 测试 包 的 基本 需求 ， 

。 应 该 精心 选择 在 测试 包 中 使 用 的 语言 和 脚本 ， 以 便 在 不 同 平台 中 使 用 ， 

。 针 对 测试 包 编写 的 语言 和 脚本 不 应 包含 与 具体 平台 有 关 的 调用 。 


16.7 自动 化 的 过 程 模型 


什么 时 候 启动 自动 化 、 什 么 时 候 结束 并 没有 硬性 规则 。 自 动 化 工作 可 以 与 产品 开发 同时 
进行 ， 并 且 可 以 与 产品 的 多 个 发 布 版 本 重 又 。 与 多 产品 发 布 一 样 ， 自 动 化 也 有 多 个 发 布 版 本 。 
对 自动 化 的 一 个 具体 需求 就 是 ， 自 动 化 测试 的 交付 应 该 在 测试 执行 阶段 之 前 ， 以 便 自动 化 可 
交付 产品 能 够 在 测试 被 测 产品 的 当前 发 布 版 本 时 使 用 。 自 动 化 的 需求 跨 多 个 发 布 版 本 的 多 个 
阶段 ， 这 与 产品 需求 一 样 。 测 试 执行 可 以 在 发 布 产品 后 不 久 结束 ， 但 是 自动 化 工作 却 在 产品 
发 布 后 仍然 持续 。 

由 于 产品 开发 和 自动 化 开发 具有 以 上 的 相似 性 ， 因 此 ， 自 动 化 遵循 的 过 程 和 生存 周期 模 

型 和 产品 开发 的 也 非常 类 似 。 在 绝 大 多 数 情况 下 ， 自 动 化 也 遵循 产品 的 软件 开发 生存 周期 
“(SDLC) 模型 。 本 节 集 中 介绍 V 字 模型 及 其 扩展 ， 以 介绍 测试 自动 化 的 过 程 。 首 先 研究 产品 

开发 所 包含 的 阶段 和 如 图 16-4 所 示 的 自动 化 阶段 ， 并 理解 两 者 之 间 的 相似 性 。 
本 章 已 经 介绍 过 ， 测 试 自动 化 生存 周期 活动 与 产品 开发 活动 有 很 强 的 相似 性 。 就 像 产品 
需要 采集 产品 需求 一 样 ， 也 需要 采集 自动 化 需求 。 类 似 地 ， 就 像 产品 策划 、 设 计 和 编码 一 样 ， 
在 测试 自动 化 过 程 中 也 有 自动 化 策划 、 设 计 和 编码 。 





需求 19: 到 不 同 平 
台 的 可 移植 性 
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图 16-4 产品 开发 与 自动 化 之 间 的 相似 性 


在 测试 产品 时 检验 测试 包 很 重要 。 如 果 测 试 包 中 有 缺陷 ， 就 要 花 很 大 的 精力 搞 清 楚 缺陷 
是 来 自 产品 还 是 来 自 测试 包 。 第 1 章 已 经 介绍 过 ， 自 动 化 测试 包 在 用 于 测试 产品 之 前 ， 首 先 要 
进行 测试 。 如 果 测 试 包 报 告 了 错误 的 缺陷 ， 就 会 严重 影响 测试 自动 化 的 信誉 ， 影 响 下 一 步 的 
自动 化 工作 。 因 此 ， 自 动 化 测试 包 必 须 具 有 值得 信任 的 质量 。 为 了 创建 具有 值得 信任 的 质量 
的 测试 包 ， 与 产品 开发 一 样 ， 一 些 测试 阶段 也 是 很 重要 的 。 图 16-5 扩 展 了 图 16-4， 引 入 了 产 
品 和 自动 化 测试 包 的 测试 阶段 。 
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图 16-5 W 字 模型 一 一 自动 化 包含 的 阶段 
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产品 和 自动 化 开发 的 每 个 阶段 可 以 执行 一 组 活动 ， 包 括 四 项 。 产 品 在 需求 阶段 采集 开发 
需求 时 ， 同 时 完成 针对 测试 产品 的 测试 需求 、 针 对 自动 化 开发 的 需求 和 针对 自动 化 测试 的 需 
求 。 类 似 地 ， 在 策划 和 设计 阶段 也 可 以 执行 一 组 活动 ， 也 包括 四 项 。 针 对 产品 和 自动 化 的 编 
码 构 成 这 种 W 字 模型 的 编码 阶段 ， 这 个 阶段 要 交付 产品 和 测试 包 。 
和 测试 包 构 成 自动 化 的 一 种 可 交付 产品 。 此 外 ， 测 试 框架 也 可 看 作 
铁路 的 两 条 钢轨 ， 沿 同 自动 化 的 一 种 可 交付 产品 ， 上 一 段 讨 论 的 测试 阶段 只 针对 测试 包 ， 因 
一 方向 并 行销 开 ， 并 具 为 测试 包 需 要 彻底 测试 ， 以 便 用 于 产品 测试 。 
有 类 似 的 预期 。 在 产品 和 自动 化 中 引入 测试 活动 后 ， 生 命 周 期 模型 图 中 就 包含 了 





并 行 的 两 组 开发 活动 和 并 行 的 两 组 测试 活动 。 把 这 些 活动 合 在 一 起 就 
构成 “W” 字 模型 。 因 此 ， 对 于 包含 自动 化 的 产品 开发 ， 遵 循 W 字 模型 ， 既 保证 产品 的 质量 ， 
又 保证 所 开发 的 测试 包 达 到 预期 的 质量 要 求 ， 是 一 种 很 好 的 选择 。 

在 讨论 W 字 模型 时 ， 不 能 将 其 解释 为 出 现在 特定 阶段 内 的 所 有 活动 都 应 该 同时 开始 和 结 
束 。 例 如 ， 图 16-5 中 的 “设计 ”、“ 测 试 设计 ”、“ 自 动 化 设计 ”和 “针对 测试 包 的 测试 设计 ” 
都 出 现在 同一 个 阶段 (在 图 中 并 排 给 出 )。 针 对 产品 和 自动 化 的 这 些 活动 可 以 在 不 同时 间 开 始 
和 结束 。W 字 模型 只 是 保证 活动 的 流程 ， 并 没有 限定 起 止 时 间 。 产 品 开发 和 自动 化 可 以 有 独 
立 的 进度 计划 ， 并 作为 两 个 不 同 的 项 目 进行 处 理 。 

不 需要 同时 开始 和 结束 的 另 一 个 理由 是 ， 在 很 多 公司 中 ， 要 由 同一 个 测试 团队 测试 产品 
和 开发 测试 包 。 在 这 种 情况 下 ， 显 然 进 度 是 不 同 的 ， 活 动 的 起 止 时 间 取 决 于 由 可 用 的 资源 和 
其 他 依赖 关系 决定 的 项 目 进度 。 

对 于 公司 内 有 专门 的 自动 化 团队 的 情况 ， 自 动 化 进度 可 以 独立 于 产品 的 发 布 。 每 次 产品 
发 布 对 应 一 些 ( 经 过 测试 的 ) 可 交付 产品 。 这 样 ， 可 以 使 用 最 新 开发 的 测试 包 测试 产品 的 当 
前 发 布 版 本 。 


16.8 测试 工具 的 选择 
确定 了 要 自动 化 的 对 象 后 ， 一 个 相关 的 问题 就 是 选择 合适 的 自动 化 工具 。 尽 管 这 里 分 成 
了 两 个 顺序 执行 的 步 又 ， 但 是 这 些 步 又 是 密切 关联 的 。 


测试 工具 的 选择 是 测试 自动 化 的 一 个 重要 问题 ， 这 是 因为 : 
1. 免费 工具 不 能 得 到 很 好 支持 ， 很 快 就 会 被 淘汰 。 由 于 测试 工具 的 问题 导致 发 布 版 本 被 


推迟 是 极为 危险 的 。 
2. 开发 内 部 工具 很 党 时 间 。 尽 管内 部 工具 会 便宜 一 些 并 能 更 好 地 满足 需要 ， 但 这 类 工具 
往往 都 是 少数 工程 师 凭 兴趣 开发 的 ， 通 常 文档 写 得 很 差 ， 一旦 开发 工具 的 人 离开 公司 ,工具 


就 不 再 能 用 。 此 外 ， 在 实际 产品 测试 和 发 布 期 限 的 压力 下 ， 这 种 工具 开发 往往 会 往 后 放 ， 因 
此 人 力 不 能 得 到 保证 。 

3. 提供 商 销售 的 测试 工具 很 昂 责 。 按 绝对 金额 算 ， 市 场 上 的 标准 测试 自动 化 工具 是 很 员 
贵 的 。 很 多 公司 ， 特 别 是 中 小 企业 ， 都 会 仔细 评价 作出 这 种 重要 投资 的 经 济 影 响 。 

4. 测试 工具 需要 很 好 的 培训 。 除 非 使 用 工具 的 人 经 过 恰当 培训 ， 和 否则 测试 自动 化 是 不 能 
成 功 的 。 这 类 培训 通常 包括 熟悉 随 工 具 一 起 提供 的 脚本 语言 、 工 具 的 定制 和 为 工具 增加 扩展 
件 或 插件 。 甚 至 经 过 这 样 的 培训 后 ， 在 使 用 工具 上 花费 的 时 间 也 相当 长 。 

5. 测试 工具 一 般 不 能 满足 自动 化 的 所 有 需求 。 因 为 工具 要 通用 ， 因 此 很 难 充分 满足 特定 
客户 的 需要 。 这 也 是 为 什么 定制 和 可 扩展 成 为 关键 问题 的 原因 。 
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6. 并 不 是 所 有 工具 都 运行 在 所 有 平台 上 。 为 了 降低 自动 化 的 成 本 ， 工 具 和 自动 化 的 测试 
脚本 应 能 在 被 测 产品 和 运行 的 所 有 平台 上 重用 。 因 此 ， 工 具 和 脚本 对 多 平台 的 可 移植 性 是 选择 
测试 自动 化 工具 的 一 个 关键 因素 。 

由 于 以 上 原因 ， 需 要 高 度 重视 选择 合适 的 自动 化 工具 。 前 面 已 经 介绍 过 ， 选 择 工具 时 理 
解 自动 化 的 需求 是 非常 重要 的 。 需 求 应 该 既 包 括 短期 需求 ， 也 包括 长 期 需求 。 这 些 需求 构成 
工具 选择 的 基础 。 


16.8.1 选择 测试 工具 的 准则 


上 一 节 解 释 了 评价 测试 工具 的 一 些 原因 和 需求 采集 对 工具 选择 的 作用 。 这 些 都 会 随 着 背 
景 的 不 同 而 变化 ， 不 同 的 公司 、 不 同 的 产品 也 会 不 同 。 下 面 讨论 评价 准则 的 大 致 分类。 这 些 
分 类 包括 

1 满足 需求 ， 

2. 技术 预期 ， 

3. 培训 与 技能 ， 

4. 管理 问题 。 

满足 需求 

首先 ， 市 面 上 有 很 多 工具 ， 但 是 很 少 能 够 满足 给 定 产品 或 给 定 公司 的 所 有 需求 。 针 对 不 
同 的 需求 评价 不 同 的 产品 需要 付出 大 量 人 力 、 财 力 和 时 间 。 由 于 有 太 多 的 选择 〈 每 种 选择 都 
满足 一 部 分 需求 ) ， 因 此 选择 和 引入 测试 工具 会 需要 很 长 时 间 。 

第 二 ， 测 试 工具 通常 落后 一 代 ， 可 能 没有 提供 被 测 产品 的 后 向 或 前 向 兼容 性 (例如 JAVA 
SDK 支 持 )。 例 如 ， 如 果 产 品 使 用 了 最 新 SDK 版 本 ， 比 方 说 版 本 2.0， 测 试 工具 所 支持 的 SDK 
版 本 可 能 是 1.2。 在 这 种 情况 下 ,利用 版 本 2.0 编 写 的 一 些 新 特性 就 不 能 使 用 这 种 测试 工具 测试 。 
测试 工具 跟 上 产品 所 用 技术 可 能 需要 很 长 时 间 ， 这 是 产品 公司 不 能 忍受 的 。 

第 三 ， 测 试 工具 可 能 没有 对 新 需求 进行 评价 。 例 如 ， 在 2000 年 问题 测试 期 间 ， 有 些 工具 
就 不 能 用 于 测试 ， 因 为 工具 本 身 也 有 与 产品 一 样 的 问题 即 不 能 正确 处 理 日 期 )。 与 产品 一 样 ， 
测试 工具 也 没有 经 过 针对 这 些 新 需求 的 充分 测试 。 第 1 章 引用 的 成 语 “ 首 先 要 测试 测试 用 例 " 
说 得 好 ， 测 试 工具 必须 经 过 测试 ， 验 证 其 是 否 适 合 测试 产品 。 

最 后 ， 有 些 测试 工具 不 能 区 分 产品 失效 和 测试 失效 。 这 需要 增加 分 析 时 间 和 人 工 测试 。 
测试 工具 可 能 没有 提供 足够 的 定位 、 调 试 和 错误 消息 ， 以 帮助 进行 分 析 。 这 可 能 导致 要 在 测 
试 包 中 增加 日 志 记录 消息 和 审计 ， 或 导致 人 工 进 行 测试 用 例 检查 。 对 于 GUI 应 用 程序 的 测试 ， 
测试 工具 可 能 根据 运行 时 间 的 消息 和 屏幕 排列 判断 测试 结果 。 因 此 ， 如 果 产品 的 屏幕 要 素 出 
现 变化 ， 就 会 要 求 测试 包 也 随 之 变化 。 测 试 工具 应 有 一 定 的 智能 ， 主 动 发 现 产品 中 出 现 的 变 
更 ， 并 相应 地 分 析 测试 结果 。 

技术 预期 

首先 ， 测 试 工具 一 般 不 允许 测试 开发 人 员 进 行 扩展 和 修改 杠 架 功能 。 因 此 ， 扩 展 功能 需 
要 由 工具 提供 商 完 成 ， 需 要 额外 的 成 本 和 精力 。 测 试 工具 可 能 没有 提供 与 产品 所 提供 的 同样 
的 SDK 或 扩展 接口 。 市 场 上 只 有 极 少 的 工具 提供 源 代码 ， 用 以 扩展 工具 的 功能 或 修正 问题 。 
可 扩展 性 和 可 定制 性 是 测试 工具 的 一 种 重要 预期 。 

第 二 ， 很 多 测试 工具 都 要 求 把 库 与 产品 二 进 制 代码 连接 在 一 起 。 当 这 些 库 与 产品 的 源 代 
码 连 接 后 ， 就 叫做 “ 持 桩 后 的 代码 "。 这 使 得 在 清除 这 些 库 之 后 还 可 以 重复 进行 测试 ， 因 为 一 
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定 类 型 测试 的 结果 在 清除 这 些 库 后 会 发 生变 化 和 得 到 改善 。 例 如 ， 插 桩 后 的 代码 对 性 能 测试 
有 重大 影响 ， 因 为 测试 工具 引入 了 额外 的 代码 ， 执 行 这 些 代码 会 造成 时 延 。 

最 后 ， 测 试 工 具 不 能 100% 地 跨 平台 ， 只 能 支持 一 部 分 操作 系统 平台 ， 这 些 工具 生成 的 脚 
本 可 能 在 另外 一 些 平台 上 不 兼容 。 此 外 ， 很 多 测试 工具 只 能 测试 产品 ， 不 能 测试 产品 和 测试 
工具 对 系统 或 网 络 的 影响 。 如 果 要 对 产品 对 网 络 或 系统 的 影响 进行 分 析 ， 首 先 怀疑 的 就 是 测 
试 工具 ， 在 这 种 分 析 开 始 时 要 人 卸载 测试 工具 。 

培训 技能 

虽然 测试 工具 需要 大 量 培训 ， 但 是 很 少 有 提供 商 能 够 提供 所 需 级 别 的 培训 。 需 要 公司 级 
的 培训 ， 以 部 署 该 测试 工具 ， 因 为 测试 包 的 用 户 不 仅 是 测试 团队 ， 还 有 开发 团队 和 其 他 人 员 ， 
例如 配置 管理 。 测 试 工具 期 望 用 户 学 习 新 的 语言 或 脚本 ， 并 可 能 不 使 用 标准 的 语言 或 脚本 。 
这 提高 了 自动 化 的 技能 需求 ， 延 长 了 公司 内 部 的 培训 时 间 。 

管理 问题 

测试 工具 增加 了 系统 需求 ， 需 要 升级 硬件 和 软件 。 这 会 提高 已 经 就 很 高 的 测试 工具 成 本 。 
在 选择 测试 工具 时 ， 注 意 对 系统 的 需求 很 重要 ， 升 级 软件 和 硬件 所 涉及 的 成 本 需要 包含 在 工 
具 成 本 中 。 从 一 个 工具 到 另 一 个 工具 的 迁移 可 能 很 难 ， 需 要 做 大 量 工作 。 不 仅 是 由 于 所 编写 
的 测试 包 不 能 供 其 他 测试 工具 使 用 ， 而 且 还 由 于 迁移 所 需 的 成 本 很 高 。 因 为 工具 很 昂贵 ， 除 
非 管理 层 认 为 投入 回报 是 值得 的 ， 否 则 一 般 是 不 会 批准 换 工 具 的 。 

部 署 测试 工具 所 需 的 工作 量 与 在 公司 中 部 署 产品 的 工作 量 一 样 。 但 是 ， 由 于 项 目 进度 压 
力 ， 部 署 测试 工具 的 工作 会 被 火化， 被 取消 。 以 后 ,这 又 会 成 为 产品 发 布 拖延 ， 或 自动 化 不 能 
达到 预期 要 求 的 理由 。 在 选择 和 部 署 测 试 工具 时 ， 对 工具 的 支持 是 另 一 个 需要 考虑 的 问题 。 

表 16-3 归 纳 了 以 上 讨论 的 内 容 。 


表 16-3 ”选择 测试 工具 中 的 问题 





培训 与 技能 
缺少 测试 工具 的 培训 


管理 问题 
测试 工具 需要 系统 升级 












扩展 测试 工具 是 很 困难 的 











检查 工具 是 否 满足 需 















求 ， 包 括 工作 量 和 经 费 教师 
测试 工具 不 能 与 产品 有 些 测试 需要 清除 插 桩 后 测试 工具 要 求 员工 学 迁移 到 其 他 测试 工具 很 
完全 兼容 的 代码 习 新 的 语言 或 脚本 困难 





部 署 工具 需要 大 量 策 划 
和 人 力 投入 


测试 工具 没有 针对 新 测试 工具 不 是 跨 平台 的 
需求 进行 过 与 产品 一 样 
的 场景 测试 

很 难 区 分 产品 问题 和 
测试 包 问 题 ， 产 品 变更 
会 要 求 变更 测试 包 











16.8.2 工具 选择 与 部 署 步骤 


本 节 要 根据 本 章 前 面 的 讨论 ， 提 出 选择 和 在 公司 中 部 署 测试 工具 的 七 个 简单 步骤 : 
1. 在 所 讨论 过 的 一 般 需求 中 提取 测试 包 需 求 ， 补 充 其 他 需求 (如 


人 
入 0 。。 果 有 的 话 ) ， 

ye | 2. 保证 已 经 考虑 过 前 几 节 所 讨论 的 经 验 
因此 需要 精心 选择 。 保证 已 经 考虑 过 前 几 节 人 


3. 收集 其 他 公司 使 用 类 似 测试 工具 的 经 验 ， 
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4. 准备 向 提供 商 提 出 的 有 关 成 本 、 工 作 量 和 支持 问题 的 检查 单 ， 

5. 列 出 满足 以 上 需求 的 工具 (优先 列 出 提供 源 代码 的 工具 ) ， 

6. 评价 并 最 后 确定 一 个 或 一 组 工具 ， 并 对 所 有 测试 开发 人 员 提 供 工具 培训 ，; 
7. 培训 工具 的 所 有 潜在 用 户 后 ， 为 各 个 测试 团队 部 署 该 工具 。 


16.9 极限 编程 模型 的 自动 化 


第 10 章 已 经 讨论 过 ， 极 限 编程 模型 的 基础 是 以 下 基本 概念 : 

1. 单元 测试 用 例 要 在 编码 阶段 开始 前 开发 ， 

2. 要 针对 测试 用 例 编写 代码 ， 并 保证 测试 用 例 通过 ， 

3. 每 次 所 有 单元 测试 都 要 100% 地 运行 ， 

4. 每 个 人 都 拥有 该 产品 ， 员 工 之 间 经 常 跨越 边界 。 

极限 编程 模型 的 以 上 概念 使 自动 化 成 为 产品 开发 的 一 个 有 机 组 成 部 分 。 为 此 ， 需 要 特别 
讨论 极限 编程 模型 。 极 限 编程 中 的 自动 化 不 应 看 作 是 额外 活动 ， 得 到 产品 需求 的 同时 也 就 得 
到 了 自动 化 需求 。 这 使 自动 化 从 产品 开发 的 第 一 天 起 就 启动 了 。 

在 极限 编程 中 ,测试 用 例 要 在 编码 阶段 开始 前 编写 。 开 发 人 员 编 写 代 码 要 保证 这 些 测试 
用 例 通过 。 这 使 得 代码 和 测试 用 例 始终 保持 同步 。 这 还 使 针对 产品 编写 的 代码 能 够 被 自动 化 
重用 。 此 外 ， 由 于 代码 的 目标 是 保证 测试 用 例 通过 ， 因 此 ， 开 发 人 员 在 编写 代码 时 会 自己 开 
发 自动 化 的 测试 用 例 。 

在 极限 编程 中 ， 所 有 单元 测试 用 例 每 次 都 要 以 100% 的 通过 率 运行 。 这 个 目标 使 自动 化 具 
有 额外 的 重要 性 ， 因 为 没有 自动 化 ， 就 不 能 每 次 使 代码 都 能 满足 该 目标 。 

开发 技能 和 自动 化 编码 技能 之 间 的 差距 对 于 遵循 极限 编程 模型 的 团队 来 说 不 成 问题 。 因 
此 ， 员 工 越过 边界 承担 开发 人 员 、 测 试 人 员 等 各 种 角色 。 在 极限 编程 模型 中 ， 开 发 、 设 计 和 
自动 化 技能 并 不 是 互 不 联系 的 。 

在 极限 编程 模型 中 ， 以 上 概念 使 自动 化 成 为 产品 开发 周期 的 一 个 有 机 的 组 成 部 分 。 


16.10 自动 化 中 的 挑战 


通过 以 上 讨论 可 以 推论 ， 测 试 自动 化 带 来 了 一 些 特有 的 挑战 。 其 中 最 重要 的 挑战 要 算是 
管理 层 的 承诺 。 

第 1 章 已 经 讨论 过 ， 自 动 化 不 能 看 作 是 所 有 问题 的 万 能 药 ， 也 不 能 看 作 是 产品 所 有 质量 问 
题 的 快速 解决 方案 。 自 动 化 需要 时 间 和 精力 ， 长 期 坚持 才能 得 到 回报 。 但 是 ， 自 动 化 需要 相 
当 大 的 初始 资金 投入 ， 测 试 工程 师 需 要 经 过 很 长 时 间 的 学 习 才 能 开始 得 到 回报 。 管 理 层 应 该 
有 耐心 ， 并 坚持 自动 化 。 这 里 的 主要 挑战 是 因为 测试 自动 化 需要 很 大 的 前 期 投入 ， 而 管理 层 
寻求 的 是 尽早 得 到 回报 。 成 功 的 测试 自动 化 努力 都 有 坚定 的 管理 层 承 诺 、 明 确 的 长 远 目 标 以 
及 有 能 力 确 定 不 断 向 长 期 目标 推进 的 近期 目标 等 特点 。 如 果 管 理 团队 没有 这 些 特点 ， 那 么 很 
可 能 自动 化 会 中 途 天 折 。 更 糟糕 的 是 ， 人 们 可 能 对 自动 化 开始 存在 错误 认识 ， 就 像 第 1 章 中 提 
到 的 农夫 一 样 。 


16.11 小 结 
第 1 章 “ 首 先 测试 测试 用 例 ” 已 经 讨论 了 测试 测试 包 的 重要 性 。 在 把 测试 包 用 于 测试 产品 
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之 前 ， 要 恰当 地 测试 测试 包 ， 并 确保 其 满足 对 质量 的 预期 。 正 如 前 面 所 讨论 过 的 ， 如 果 对 测 
试 包 的 质量 有 怀疑 ， 那 么 在 确定 究竟 缺陷 是 源 自 测试 包 还 是 产品 ， 就 会 花费 精力 并 产生 争论 。 
为 了 打消 这 种 怀疑 ， 保 证 测试 的 平稳 运行 ， 测 试 包 的 所 有 质量 需求 和 所 遵循 的 过 程 步 又， 都 
需要 与 产品 开发 的 相同 。 

有 人 认为 自动 化 意味 着 自动 化 测试 执行 的 过 程 。 自 动 化 的 范围 应 该 扩展 到 产品 开发 所 包 





括 的 所 有 阶段 ， 涉 及 公司 中 的 多 个 人 员 和 多 个 角色 。 测 试 执行 是 自动 

茂 色 的 硕 量 需 二 化 开始 的 地 方 ， 因 为 在 测试 执行 阶段 有 很 多 重复 性 工作 ， 并 且 手 工 工 

与 产品 的 质量 需求 相当 作 更 多 一 些 。 自 动 化 并 不 止步 于 只 是 对 测试 用 例 执行 的 自动 化 。 测 斌 

或 要 疡 格 。 和 包 需 要 与 其 他 工具 和 活动 (例如 ， 测 试用 例 数据 库 、 缺 陷 过 滤 、 自 动 
发 送 有 关 测试 和 版 本 构建 状态 的 电子 邮件 、 自 动 生成 报告 等 ) 关联 起 来 ， 以 提高 有 效 性 。 说 
到 自动 化 ， 并 不 是 一 切 都 可 以 自动 化 ，100% 的 自动 化 并 不 总 是 行 得 通 的 。 把 一 些 测试 用 例 自 

动 化 的 测试 包 与 富有 创造 力 的 人 工 测 试 结合 起 来 ， 会 使 测试 更 有 效 。 

24 We 坟 自动 化 不 能 外 步 于 记录 和 回放 用 户 命令 。 自 动 化 测试 包 应 该 有 足够 智 

2 能 ， 以 确定 预期 的 是 什么 、 测 试用 例 为 什么 没有 通过 、 以 及 给 出 手工 

节省 人 力 和 时 间 。 。 。 步 双 以 重 现 问题 。 自 动 化 不 能 只 用 于 节省 工作 量 ， 还 应 该 用 于 提高 履 
盖 率 ， 并 提高 可 重复 性 。 有 时 需要 修改 已 经 形成 文档 的 手工 测试 用 例 ， 以 适应 自动 化 的 需求 。 
有 自动 化 的 地 方 ， 文 档 不 需要 很 详细 的 描述 ， 因 为 通过 查阅 自动 化 脚本 就 可 以 随时 导出 测试 
用 例 的 步 又 。 

自动 化 的 进展 不 仅 会 受到 技术 复杂 性 的 阻碍 ， 而 且 还 会 受到 缺少 人 力 资源 的 阻碍 。 即 使 分 
配 了 人 力 资源 ， 在 产品 接近 发 布 或 进入 关键 状态 时 ， 也 会 被 抽 走 。 这 种 紧急 措施 是 可 以 理解 

的 ， 因 为 按时 发 布 产 品 、 竞 现 对 客户 作出 的 承诺 与 自动 化 相 比 ， 应 访 

具有 更 高 的 优先 级 。 但 是 ， 如 果 这 种 情况 反复 出 现 对 于 自动 化 是 不 利 

抽风 ” 的 。 由 公司 中 的 一 支 独立 团队 承担 研究 自动 化 需求 、 工 具 评价 和 开发 

es 网 划 。 通用 测试 包 等 任务 ， 会 增加 更 多 价值 。 独 立 的 自动 化 团队 可 以 实现 公 

和。 

试 工程 师 。 工具 的 使 用 、 管 理 和 专业 化 是 一 种 职业 ， 有 关 测试 工具 的 使 用 已 
经 有 认证 课程 ， 在 自动 化 方面 已 经 有 很 多 职业 机 会 。 因 此 ， 把 自动 化 看 作 是 一 种 开发 人 员 和 
测试 人 员 可 以 成 长 的 重要 领域 和 岗位 是 很 重要 的 。 

自动 化 不 能 看 作 是 当 测试 工程 师 有 空闲 时 间 时 ， 让 他 们 别 闲 着 的 权宜 之 计 (“如 果 没 有 要 
执行 的 测试 ， 就 去 实现 测试 自动 化 吧 ! ”)。 使 自动 化 更 有 用 需要 更 宽 的 视野 。 需 要 制定 计划 
维护 测试 包 ， 就 像 产品 维护 一 样 。 自 动 化 应 该 看 作 是 一 种 产品 ， 而 不 是 一 个 项 目 。 就 像 产品 
路 线 图 一 样 ， 自 动 化 也 应 该 有 路 线 图 如 旁边 的 “空域 图 ”所 示 )。 

没有 经 过 适当 分 析 就 选择 测试 工具 ， 会 导致 把 昂贵 的 测试 工具 束 之 高 疗 。 可 以 把 这 种 工 
具 叫 做 库 架 件 ，。 

选择 合适 的 测试 工具 只 是 自动 化 成 功 的 一 个 部 分 。 另 外 需要 考虑 的 因素 是 时 机 和 测试 包 
要 如 何以 所 需 的 质量 满足 测试 需求 。 因 此 ， 测 试 包 的 开发 要 在 测试 执行 开始 前 交付 ， 针 对 被 
测 产品 的 自动 化 目标 应 该 是 在 产品 发 布 和 结束 开发 周期 前 交付 。 和 否则 ， 只 是 自动 化 获得 成 功 
就 会 像 谚 语 所 说 的 ，“ 手 术 虽 然 成 功 但 病人 却 死 了 ”。 成 功 的 自动 化 要 在 满足 产品 需求 的 同时 ， 
满足 自动 化 需求 。 

讨论 了 自动 化 取得 成 功 的 各 种 因素 后 ， 该 是 讨论 一 些 失 败 因 素 的 时 候 了 。 一 般 来 说 ， 一 
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随 着 测试 自动 化 变 
得 比 产 品 开发 还 要 复杂 ， 
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些 调查 和 测试 专著 都 指出 自动 化 失败 的 一 个 原因 是 没有 拥有 关系 。 这 种 观点 有 以 下 事实 支持 ， 
30% 的 测试 和 工具 都 是 库 架 件 。 第 1 章 在 讨论 农夫 抱怨 自动 化 作物 裁 培 到 二 从 从 下 图 对 了 
失败 时 已 经 提 到 过 “自动 化 综合 症 "。 自 动 化 本 身 没有 失败 ， 需 要 注 。 飞 期 没有 什么 帮助 、 共 
意 的 是 围绕 自动 化 的 各 种 观念 。 例 如 ， 有 人 认为 自动 化 会 减少 公司 的 。 知 并 达到 目的 雷 要 “ 空 
员工 。 自 动 化 不 会 减少 员工 ， 而 是 使 测试 工程 师 能 够 将 注意 力 放 在 直 。 起 图 ”和 “路 避 国 ” 
接 与 产品 质量 有 关 的 更 具 创 造 性 的 任务 上 。 
自动 化 使 测试 人 员 的 工作 更 轻松 ， 可 以 更 好 地 重 现 测试 结果 ， 提 高 覆盖 率 ， 当 然 作为 一 
种 副产品 还 能 降低 工作 量 。 自 动 化 应 该 看 作 是 产品 开发 周期 的 一 部 分 ， 应 该 作为 产品 和 公司 
成 功 的 基本 习惯 保留 。 最 后 ， 通 过 自动 化 ， 可 以 得 到 更 好 、 更 有 效 的 指标 ， 能 够 以 定量 的 方 
式 帮助 理解 产品 的 健康 状况 ， 这 就 引出 下 一 章 的 内 容 。 


问题 与 练习 


.本章 和 前 面 各 章 都 提 到 了 端 到 端的 测试 自动 化 。 请 考虑 以 下 每 种 情况 的 自动 化 需求 并 评价 
工具 的 选项 : 

a. 根据 需求 、 设 计 和 程序 规格 说 明 ,设计 测试 用 例 ; 

b. 测试 数据 的 生成 ， 

c. 针对 给 定 发 布 版 本 ,根据 代码 变更 情况 选择 测试 用 例 ， 

d. 自动 分 析 测 试 正确 性 的 工具 ， 

e. 自动 分 配合 适 的 员工 通过 测试 发 现 缺 陷 的 工具 ， 

f. 性 能 测试 工具 ， 

g. 测试 报告 生成 工具 。 

.请 设计 一 种 简单 模式 ， 在 测试 用 例 数据 库 、 配 置 管理 工具 和 测试 历史 之 间 进 行 映射 ， 以 完 
成 问题 1 列 出 的 一 些 自动 化 需求 。 

- 白 盒 测试 的 哪些 方面 适合 自动 化 ? 需要 什么 工具 ? 

自动 化 测试 应 用 程序 中 的 GUI 部 分 会 遇 到 哪些 挑战 ?这 与 后 端 测试 自动 化 有 什么 差异 ? 

. 本 书 最 后 一 章 将 讨论 指标 。 研 究 所 给 出 的 各 种 指标 ， 并 说 明 在 问题 2 中 给 出 的 模式 可 以 用 于 

生成 这 些 指标 。 请 给 出 采用 例如 SQL 写 出 的 能 够 生成 以 上 指标 的 查询 语句 。 

请 考虑 编写 自动 化 的 测试 用 例 测 试 数 据 库 的 各 种 查询 选项 。 测 试 脚本 需要 什么 类 型 的 初始 

化 和 清理 ? 

.在 使 用 自动 化 脚本 时 ， 请 导出 可 以 用 来 实现 和 促进 重用 的 标准 。 

.本 章 提 到 过 不 要 在 测试 用 例 中 采用 硬 编码 的 方式 写 入 任何 取 值 ， 还 给 出 了 一 个 例子 说 明 不 
同 层次 的 软件 有 不 同 的 配置 参数 。 请 归纳 维护 这 种 保存 不 同 层 次 参数 的 配置 文件 所 面临 的 
问题 。 如 何 解决 这 些 问 题 ? 

.测试 基于 Web 应 用 程序 的 一 个 共同 问题 是 出 现 弹出 窗口 、 广 告 等 。 请 利用 测试 自动 化 工具 
已 有 的 特性 将 应 用 程序 与 这 些 中 断 隔 离 。 

10. 本 章 使 用 元 语言 描述 了 测试 自动 化 需求 。 这 种 元 语言 还 需要 什么 其 他 特性 辅助 实际 的 软件 
测试 ? 








| 一 


[3] 


[Se] 


Sm 


LA 


中 


一 1 


OO 


\D 


不 能 度量 就 没有 办 


第 17 章 测试 指标 和 度量 


17.1 指标 和 度量 的 定义 


这 个 时 期 我 们 注意 到 公司 取得 了 很 好 的 效益 。 而 有 全， 老板 那 时 


正在 休假 ! 





项 目 中 的 所 有 重大 活动 都 要 进行 跟踪 ， 以 确保 该 项 目 按 计划 进行 ， 同 时 可 以 决定 是 否 采 取 
纠正 行动 。 关 键 参数 的 度量 是 跟踪 不 可 缺 的 一 部 分 。 度 量 首 先 需要 采 
集 一 些 数 据 。 但 是 ， 原 始 数据 本 身 可 能 没有 揭示 为 什么 会 发 生 特定 的 
事件 。 所 收集 到 的 数据 都 必须 综合 分 析 以 得 出 适当 的 结论 。 在 上 面 的 
卡通 画 中 ， 两 个 数据 点 分 别 表 示 ， 老 板 在 度假 和 效益 在 过 去 的 一 个 季度 中 飞速 增长 。 但 是 ，( 希 
望 如 此 ,) 这 两 个 事件 没有 直接 的 联系 。 因 此 ， 从 原始 数据 中 得 出 的 结论 对 决策 是 没有 用 处 的 。 

指标 从 原始 数据 中 导出 对 决策 有 帮助 的 信息 。 这 类 信息 对 于 理解 以 下 内 容 会 有 帮助 : 

1. 数据 点 之 间 的 关系 ; 

2. 被 观察 数据 点 之 间 可 能 存在 的 因果 关系 ; 

3. 数据 如 何 用 于 未 来 规划 和 持续 不 断 的 改进 。 

因此 ， 指 标 是 使 用 合适 的 公式 或 计算 方法 从 度量 中 导出 的 。 显然 ， 相 同 的 一 组 度量 可 以 
产生 针对 不 同人 员 需 要 的 不 同 指标 。 

从 以 上 讨论 可 以 看 出 ， 为 了 对 项 目的 执行 情况 进行 跟踪 并 对 其 进度 进行 有 效 监测 ， 需 要 : 

1. 必须 度量 合适 的 参数 ， 这 些 参数 要 与 产品 或 过 程 有 关 。 

2. 必须 对 所 度量 的 数据 进行 恰当 分 析 ， 以 得 出 关于 项 目 组 或 公司 内 产品 或 过 程 健 康 状况 
的 正确 结论 。 

3. 分 析 的 结果 必须 以 适当 的 形式 提供 给 利益 相关 各 方 ， 使 他 们 能 够 对 提高 产品 或 过 程 质 
量 (或 任何 其 他 相关 的 业务 推动 ) 做 出 恰当 的 决策 。 

由 于 本 书 焦点 在 于 测试 及 被 测 产品 ， 因 此 本 章 只 讨论 与 测试 及 产品 相关 的 指标 ， 不 考虑 
过 程 改进 的 方法 。 

当 把 孤立 的 数据 点 放 在 一 起 时 ， 指 标 及 指标 的 分 析 可 以 传递 有 关 原 因 的 信息 。 通 过 图 表 、 
图 形 的 形式 表示 相关 的 数据 点 及 其 关系 ， 可 以 简化 分 析 工作 ， 便 于 利用 指标 进行 决策 。 指 标 
程序 的 目的 就 是 精确 地 达到 上 述 目标 ， 这 也 是 本 章 的 关注 点 。 以 下 首先 定义 本 章 要 使 用 的 一 
些 基 本 术语 。 

投入 是 用 在 特定 活动 或 阶段 的 实际 时 间 。 乾 去 时 间 是 从 活动 开始 到 活动 结束 之 间 的 时 间 。 
例如 ， 通 过 网 络 预订 一 种 产品 要 花 五 分 钟 的 投入 和 三 天 的 逝去 时 间 。 人 们 预定 时 间 很 短 ， 但 
是 包装 和 运输 等 需要 用 较 长 的 时 间 。 但 在 这 个 计划 中 ， 溢 在 因素 或 耽 搓 必须 记 为 三 天 。 当 然 ， 
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在 这 三 天 里 ， 预 定 产品 的 人 可 以 同时 完成 一 些 其 他 活动 。 一 般 来 说 ， 投 入 要 从 生产 力 数据 导 
出 ， 而 逝去 时 间 是 要 求 完成 一 组 活动 的 总 天 数 。 完 成 一 系列 活动 的 逝去 时 间 构 成 项 目的 计划 。 

搜集 和 分 析 指 标 包 含 投入 和 其 他 步 又 。 这 些 步骤 如 图 17-1 所 示 。 指 标 程序 的 第 一 步 包 括 
决定 哪些 度量 数据 是 重要 的 ， 同 时 搜集 这 些 相关 的 数据 。 用 在 测试 上 的 投入 、 缺 陷 数 、 测 试 
用 例 数 都 是 度量 的 例子 。 根 据 使 用 的 数据 目的 不 同 ， 度 量 的 粒度 会 随 之 变化 。 





图 17-1 指标 程序 的 步 又 


在 决定 度量 内 容 时 ， 需 要 注意 以 下 方面 : 

1. 度量 的 内 容 应 与 要 达到 的 目的 相关 。 对 于 测试 来 说 ， 显 然 我 们 感 兴趣 的 是 用 在 测试 上 
的 投入 、 测 试用 例 的 数量 和 通过 测试 用 例 报告 的 缺陷 数目 等 。 

2. 度量 的 实体 应 该 是 自然 的 ， 且 不 应 带 来 过 多 的 负担 。 如 果 度 量 的 负担 太 大 ,或 者 测量 
没有 自然 地 与 实际 完成 的 工作 一 致 ， 那 么 提供 数据 的 人 就 可 能 不 愿意 提供 度量 数据 (甚至 提 
供 错 误 的 数据 )。 

3. 度量 的 内 容 应 在 满足 度量 目标 的 情况 下 ， 选 择 合适 的 粒度 水 平 。 

让 我 们 仔细 看 一 下 这 最 后 一 点 : 关于 数据 粒度 的 描述 。 不 同 的 人 使 用 度量 数据 可 能 会 在 
不 同 的 方面 得 出 不 同 的 推论 。 获 得 数据 的 颗粒 度 水 平 取 决 于 特定 人 群 对 细节 的 要 求 水 平 。 因 
此 ， 指 标 及 其 来 源 必 须 针 对 不 同 的 人 群 设 定 不 同 的 标准 。 获 得 颗粒 度 细 节 的 方法 叫 数据 挖 据 。 
后 面 给 出 了 一 个 数据 挖掘 的 练习 3。 这 就 是 发 生 在 许多 公司 中 的 典型 情况 : 提交 的 指标 /测试 报 
告 显示 不 同 粒度 的 数据 ， 数 据 粒 度 取决 于 决策 的 不 同 层次 。 


测试 人 员 : 我 们 在 这 个 测试 周期 里 又 发 现 了 100 个 新 缺陷 。 
经 理 : 这 些 新 缺陷 都 是 哪个 方面 的 ? 

测试 人 员 : 可 使 用 性 缺陷 占 了 100 个 缺陷 中 的 60 个 。 

经 理 : 哦 ! 产品 的 什么 组 件 又 产生 这 么 多 缺陷? 

测试 人 员 : 60 个 缺陷 中 的 40 个 是 由 “数据 迁移 ”组 件 产生 的 。 

经 理 : 是 哪个 具体 的 产品 功能 有 这 么 多 缺陷 ? 

测试 人 员 : 40 个 缺陷 中 的 35 个 是 由 包 侈 不同 模式 的 数据 迁移 产生 的 。 
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例子 中 的 对 话 继续 进行 ， 直 到 全 部 问题 都 被 回答 ， 或 关注 的 缺陷 数目 变 得 非常 小 ， 且 可 
以 追 漳 到 根源 。 数 据 挖 所 发 生 的 深度 取决 于 讨论 或 者 需要 关注 的 领域 。 因 此 ， 重 要 的 是 尽 可 
能 多 地 提供 度量 粒度 。 在 上 述 例子 中 ， 度 量 的 内 容 是 “缺陷 的 数目 ”。 

人 们 沟通 时 并 不 会 像 这 个 例子 一 样 只 涉及 一 个 度量 。 本 章 稍 后 将 介绍 一 整套 可 以 组 合 ， 
以 产生 指标 的 度量 。 有 关 多 个 度量 的 一 个 典型 问题 是 “在 涉及 不 同 模式 的 数据 迁移 里 ， 多 少 
个 测试 用 例 发 现 了 40 个 缺陷 ? ”这 个 问题 包含 两 个 度量 : 测试 用 例 的 数目 和 缺陷 的 数目 。 因 
此 ， 指 标 收集 的 第 二 步骤 是 定义 如 何 组 合 数 据点 或 度量 ， 从 而 提供 有 用 的 指标 。 一 个 具体 的 
间 标 可 以 使 用 一 种 或 多 种 度量 。 

了 解 了 度量 使 用 的 方法 和 度量 的 粒度 ， 就 可 以 进行 指标 程序 的 第 三 步 一 一 决定 度量 的 操作 
要 求 。 制 定 指标 计划 的 操作 要 求 时 ， 不 仅 考 虑 数据 采集 周期 ， 而 且 考虑 其 他 操作 问题 。 璧 如 ， 
谁 应 该 采集 度量 数据 ， 分 析 报 告 应 该 给 谁 等 。 这 一 步 有 助 于 为 度量 决定 适当 的 周期 ， 同 时 确 
定 收集 、 记 录 和 报告 度量 ， 并 分 发 指标 信息 的 操作 职责 。 一 些 度量 数据 需要 每 天 采集 (例如 ， 
执行 了 多 少 个 测试 用 例 ， 发 现 并 修改 了 多 少 缺 陷 等 )。 但 包含 上 述 类 似 问 题 的 指标 (“ 多 少 测 
试用 例 产生 40 个 缺陷 ”) 是 在 一 段 时 间 内 需要 监控 的 指标 类 型 ， 这 段 时 间 可 以 是 一 周 ， 也 可 以 
是 到 测试 周期 结束 。 因 此 ， 策 划 指 标 生 成 也 要 考虑 指标 的 周期 性 。 

指标 程序 的 第 四 步 是 分 析 指 标 ， 以 识别 产品 质量 中 的 积极 部 分 和 待 改善 部 分 。 通 常 ， 只 
关注 指标 揭示 的 待 改 善 问 题 ， 但 强调 和 坚持 产品 的 积极 方面 同样 重要 。 这 将 确保 最 佳 实践 制 
度 化， 同时 激励 团队 做 得 更 好 。 

指标 策划 的 最 后 一 步 是 采取 必要 措施 ， 并 把 行动 贯彻 到 底 。 如 果 一 个 行动 项 目 直 到 完成 
都 没有 遵守 标准 ， 那 么 指标 程序 的 目的 就 没有 达到 。 对 于 发 布 前 最 后 一 个 阶段 的 测试 来 说 ， 
尤其 是 这 样 。 分 析 及 完成 行动 的 任何 耽搁 都 会 导致 产品 发 布 不 必要 地 延误 。 

以 上 介绍 的 任何 指标 程序 都 是 一 个 持续 不 断 的 过 程 。 我 们 进行 度量 ， 把 度量 转换 为 指标 ， 
分 析 指 标 ， 采 取 纠 正 措施 ， 甚 中 摆 在 首位 的 就 是 进行 度量 。 然 后 ， 继 续 重 复 进 行 下 一 轮 指 标 
程序 ， 采集 (可 能 的 话 ) 不 同 的 度量 ， 从 而 针对 处 理 问 题 的 不 同 〈 可 能 的 话 ) ， 导 出 更 精确 的 
指标 。 如 图 17-1 所 示 ， 指 标 程序 不 断 地 经 历 上 述 不 同 度量 或 指标 的 步骤 。 


17.2 测试 中 指标 的 意义 
由 于 测试 是 产品 发 布 前 的 最 后 一 个 阶段 ， 因 此 ， 很 有 必要 度量 测试 进展 和 产品 质量 。 跟 
踪 测 试 进展 和 产品 质量 可 以 对 发 布 版 本 有 一 个 很 好 的 认识 ， 即 发 布 版 本 是 否 及 时 达到 所 要 求 


的 质量 。 因 此 ， 有 关 确 定 测试 进展 的 度量 和 所 产生 的 指标 就 变 得 非常 重要 。 
仅仅 了 解 测 试 完 成 了 多 少 ， 还 不 能 回答 什么 时 候 完 成 测试 和 什么 时 候 产品 做 好 发 布 的 准 











完成 测试 需要 的 天 数 备 这 样 的 问题 。 要 回答 这 样 的 问题 ， 需 要 知道 测试 还 需要 多 少时 间 。 
二 尚未 执行 的 测试 用 例 判断 测试 需要 剩余 的 天 数 ， 需 要 两 个 数据 点 一 一 尚未 执行 的 测试 用 例 
数 /测试 用 例 执行 生产 率 数 及 每 逝去 一 天 可 执行 的 测试 用 例 数 。 每 人 每 天 可 执行 的 测试 用 例 数 








基于 一 个 叫做 测试 用 例 执 行 生产 率 的 度量 。 生 产 率 数值 来 源 于 以 前 的 
测试 周期 。 边 栏 中 是 计算 完成 测试 所 需 天 数 的 计算 公式 。 
因此 ， 指 标 需要 知道 测试 用 例 执行 生产 率 以 估算 测试 完成 日 期 。 
不 是 只 有 测试 能 决定 产品 的 发 布 日 期 。 需 要 修改 全 部 严重 缺陷 的 天 数 也 是 一 个 关键 的 数 
据 。 缺 陷 修 改 所 需 天 数 需 要 考虑 “ 待 修改 的 严重 缺陷 ”及 “未 来 的 测试 周期 将 会 发 现 多 少 个 
潜在 的 缺陷 ”的 估计 。 收 集 了 一 段 时 间 的 缺陷 趋势 给 出 了 一 个 粗略 的 估计 : 未 来 的 测试 周期 


总 
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将 出 现 多 少 缺陷 。 因 此 ， 指 标 有 助 于 预测 未 来 测试 周期 将 会 发 现 的 缺陷 数 。 


搜集 了 一 个 时 期 的 缺陷 修复 趋势 给 出 了 团队 的 另 一 个 估算 值 ， 扫 
陷 修复 能 力 。 这 个 度量 给 出 了 开发 团队 在 一 段 特 别 的 时 间 内 可 以 修复 
的 缺陷 数 。 结 合 缺 陷 修复 能 力 的 预测 可 以 估算 出 发 布 产品 需要 的 天 数 。 
边栏 中 给 出 的 公式 可 以 粗略 估算 缺陷 修复 需要 的 总 天 数 。 

因此 ， 指 标 有 助 于 估算 缺陷 修复 需要 的 总 天 数 。 一 旦 测试 时 间 和 
缺陷 修复 时 间 已 知 ， 发 布 日 期 就 可 以 估算 出 来 。 测 试 和 缺陷 修复 是 可 
以 同时 进行 的 活动 ， 只 要 回归 测试 计划 已 证 实 严重 缺陷 被 修复 同时 不 
带 来 任何 副作用 。 如 果 一 个 产品 研发 团队 遵循 开发 团队 和 测试 团队 分 
离 的 模式 ， 则 发 布 日 期 取决 于 测试 所 需 时 间 和 缺陷 修复 所 需 时 间 哪 一 
个 更 紧迫 。 边 栏 中 给 出 的 公式 可 计算 发 布 日 期 。 

在 正常 的 测试 周期 结束 后 可 以 开始 缺陷 修复 。 在 产品 发 布 前 这 些 
缺陷 的 修复 将 由 回归 测试 来 验证 。 因 此 ， 边 栏 关 于 发 布 日 期 的 公式 需 
要 修改 。 

由 于 现在 的 公式 不 包括 各 种 其 他 活动 (例如 文档 编制 、 会 议 等 )， 
上 述 公式 可 以 进一步 调整 ， 以 便 提供 更 准确 的 估计 。 在 这 里 讨论 公式 
的 构思 是 为 了 说 明 指 标 非 常 重要 ， 它 有 助 于 得 到 产品 的 发 布 日 期 。 


修复 缺陷 需要 的 总 


天 数 = (上 尚未 修复 的 严 
重 缺 陷 数 十 未 来 测试 周 
期 发 现 的 缺陷 数 ) /缺陷 
修复 能 力 





发 布 需要 的 天 数 = 


最 大 值 (测试 所 需 天 数 ， 


缺陷 修复 所 需 天 数 ) 





发 布 需要 的 天 数 = 
最 大 值 (测试 所 需 天 数 ， 
(缺陷 修复 所 需 天 数 十 回 
归 测 试 修 复 严重 缺陷 所 
需 天 数 )) 


在 开发 和 测试 周期 内 搜集 的 度量 不 仅 可 以 用 于 产品 发 布 ， 还 可 以 用 于 发 布 后 的 活动 。 查 


看 一 段 时 期 的 缺陷 趋势 有 助 于 得 到 近似 的 估计 : 发 布 后 可 能 报告 的 缺陷 数 。 这 个 缺陷 趋势 可 
以 用 来 作为 增加 维护 /支持 团队 的 人 数 的 参数 之 一 ， 以 解决 发 布 后 的 缺陷 问题 。 了 解 发 布 周期 
内 发 现 的 缺陷 类 型 并 且 知道 所 有 严重 缺陷 及 其 影响 ， 有 利于 售后 人 员 的 培训 ， 确 保 他 们 针对 
用 户 可 能 提出 的 缺陷 报告 做 好 充分 准备 。 

指标 不 仅 用 于 被 动 活动 ， 指 标 及 其 分 析 还 有 助 于 主动 预防 缺陷 ， 从 而 节省 成 本 和 人 力 。 
例如 ， 如 果 一 种 类 型 的 缺陷 (比如 编码 缺陷 ) 报告 的 数目 较 大 ， 明 智之 举 是 执行 代码 审查 以 
阻止 这 些 缺 陷 的 发 生 ， 而 不 是 一 个 一 个 地 寻找 并 修复 这 些 代码 。 指 标 有 助 于 发 现 这 些 机 会 。 

指标 用 于 人 力 资源 管理 ， 以 发 现 合 适 的 产品 开发 团队 规模 。 由 于 人 力 资 源 管理 是 产品 开 
发 和 维护 的 重要 方面 ， 因 此 指标 在 这 个 领域 有 很 大 作为 。 

还 有 其 他 方面 的 指标 也 很 有 用 ， 例 如 测试 用 例 发 现 缺陷 的 能 力 。 在 第 8 章 讨论 了 测试 用 例 
的 历史 记录 。 这 些 历 史记 录 结 合 项 目的 指标 ， 可 提供 在 当前 周期 里 ， 哪 些 测试 用 例 发 现 的 缺 
陷 多 ， 哪 些 发 现 的 少 的 详细 信息 。 

总 结 一 下 ， 测 试 的 指标 有 助 于 确定 : 

。 何 时 发 布 产品 。 

。 发 布什 么 一 根据 各 个 模块 的 缺陷 密度 〈 稍 后 将 给 出 缺陷 密度 的 正式 定义 )、 对 顾客 的 
重要 程度 以 及 这 些 缺 陷 的 影响 程度 ， 可 以 决定 按 原 计划 发 布 产品 时 要 发 布 的 产品 范围 。 
指标 有 助 于 做 出 这 种 决定 。 

。 产品 是 否 能 以 已 知 的 质量 发 布 一 一 指标 的 作用 不 仅 能 确定 发 布 产品 的 日 期 ， 而且 能 了 解 
产品 的 质量 ， 确 认 是 否 能 按 已 知 质量 发 布 ， 还 能 确认 产品 能 否 在 其 应 用 领域 内 按 预期 
的 方式 发 挥 作用 。 
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17.3 指标 类 型 


指标 按照 度量 的 内 容 和 关注 的 领域 不 同 可 以 分 为 不 同 的 类 型 。 从 大 的 方面 讲 ， 指 标 可 以 
分 为 产品 指标 和 过 程 指标 。 如 上 所 述 ， 本 章 不 讨论 过 程 指标 。 

产品 指标 可 细 分 为 : 

1. 项 目 指标 ”说明 项 目 是 如 何 策划 和 执行 的 一 组 指标 。 

2. 进度 指标 ”跟踪 项 目 中 不 同 的 活动 是 如 何 进 行 的 一 组 指标 。 这 些 活动 包括 开发 活动 和 
测试 活动 。 由 于 本 书 关注 的 是 测试 ， 因 此 本 章 只 讨论 适用 于 测试 活动 的 指标 。 进 度 指标 监控 
整个 测试 阶段 ， 有 助 于 查 明 测试 活动 的 状态 ， 同 时 也 是 产品 质量 的 很 好 的 指示 器 。 测 试 出 来 
的 缺陷 提供 了 丰富 的 信息 ， 这 些 信息 有 助 于 开发 团队 及 测试 团队 进行 分 析 和 改进 。 由 于 上 述 
原因 ， 本 章 的 进度 指标 只 关注 缺陷 。 为 了 方便 论述 ， 进 度 指 标 可 进一步 分 为 测试 缺陷 指标 和 
开发 缺陷 指标 。 

3. 生产 力 指标 ”有 关 生 产 力 数值 的 一 组 指标 。 采 集 这 些 指标 可 用 于 策划 和 跟踪 测试 活动 。 
这 些 指标 有 助 于 策划 和 估计 测试 活动 。 

图 17-2 给 出 了 上 面 讨论 的 所 有 类 型 的 指标 ， 以 及 本 章 将 要 讨论 的 具体 指标 。 


VvV 






生产 力 指标 
组 件 缺陷 每 100 小 时 测试 


3 每 100 小 时 测试 
缺陷 密度 与 执行 的 测试 用 例 
缺陷 清除 率 








缺陷 发 现 率 _。， 
缺陷 修改 率 





工作 量 偏 差 Se 
进度 偏差 



















严重 缺陷 率 











优先 缺陷 率 每 100 小 时 开发 


的 测试 用 例 
每 100 个 测试 用 
例 发 现 的 缺陷 
每 100 个 未 通过 测 
试用 例 发 现 的 缺陷 


测试 阶段 有 效 性 


严重 缺陷 的 
形成 分 析 


缺陷 类 别 趋势 





引入 与 复发 
缺陷 率 








| ”权重 缺陷 趋势 


缺陷 原因 分 布 








测试 缺陷 指标 


| 开发 缺陷 指标 


已 关闭 缺陷 的 分 布 


图 17-2 指标 类 型 


17.4 项 目 指标 

典型 的 项 目 从 需求 获取 开始 到 产品 发 布 结束 。 这 两 点 之 间 所 有 的 阶段 都 需要 策划 和 跟踪 。 
在 策划 周期 里 ， 需 要 确定 项 目的 范围 。 项 目的 范围 转化 为 估算 的 工作 量 ， 得 出 要 完成 的 工作 。 
通过 使 用 现 有 的 生产 力 数据 可 将 所 估算 的 工作 量 转换 为 每 个 阶段 和 活动 的 投入 估计 。 投 入 的 
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初 值 称 为 基准 投入 。 

随 着 项 目的 进行 ， 如 果 项 目的 范围 改变 或 现 有 的 生产 力 数据 不 正确 ， 那 么 工作 量 估计 就 
需要 重 估 ， 重 估 的 投入 估计 称 为 修订 投入 。 根 据 需求 及 影响 投入 的 其 他 参数 的 改变 频率 ， 估 
计 也 随 之 改变 。 

对 于 很 多 公司 来 说 ， 投 入 的 高 估 或 低估 是 很 正常 的 现象 。 错 误 估 计 的 危险 在 于 经 济 上 的 
损失 ， 延 期 发 布 也 会 在 客户 中 留 下 不 好 的 品牌 形象 。 正 确 的 估计 来 自 于 经 验 及 团队 的 正确 生 
产 力 数据 。 

投入 和 进度 计划 是 跟踪 任何 阶段 或 活动 的 两 个 因素 。 跟 踪 软 件 开发 生存 周期 阶段 的 活动 
有 两 个 方法 : 投入 和 进度 计划 。 在 理想 情况 下 ， 如 果 紧 密 跟 踪 投 入 并 满足 投入 ， 那 么 进度 计 
划 也 可 以 达到 。 通 过 向 项 目 中 添加 更 多 的 投入 (额外 的 资源 或 请 工程 师 加 班 ) 也 可 以 实现 进 
度 计划 。 如 果 通 过 增加 更 多 的 投入 来 保证 满足 发 布 日 期 (也 就 是 进度 计划 )， 那 么 项 目 策划 和 
执行 就 被 认为 是 不 成 功 的 。 事实 上 ， 这 种 添加 投入 的 想法 并 不 总 是 可 行 的 ， 因 为 公司 不 是 每 
次 都 有 可 利用 的 资源 ， 而 且 工 程 师 加 班 超过 一 定 程度 也 不 会 增加 生产 率 。 

同时 ， 即 使 计划 投入 和 实际 投入 是 相同 的 ， 但 计划 没有 满足 ， 那 么 项 目 也 是 不 成 功 的 。 
因此 ， 好 的 主意 就 是 在 项 目 指标 里 对 投入 和 计划 都 进行 跟踪 。 

非常 自然 ， 可 直接 捕获 并 形成 指标 输入 的 基本 度量 是 : 

1. 不 同 的 活动 以 及 最 初 的 基准 投入 和 进度 计划 ， 即 项 目 或 阶段 开始 的 输入 。 

2. 各 种 活动 的 实际 投入 和 时 间 ， 即 活动 过 程 中 的 输入 。 | 

3. 经 过 修改 的 投入 和 进度 计划 估计 ， 即 在 项 目 过 程 中 的 合适 时 间 进 行 重新 计算 。 


17.4.1 投入 偏差 (计划 投入 与 实际 投入 ) 


如 果 把 软件 生存 周期 所 有 阶段 的 基准 投入 估计 、 修 正 后 的 投入 估计 和 实际 投入 都 画 在 一 
起 ， 可 以 得 到 有 关 估 计 过 程 的 很 多 启示 。 因 为 不 同 阶段 会 涉及 不 同 的 人 ， 因 此 最 好 分 阶段 画 
出 这 些 投入 的 数值 。 通 常 在 修正 估算 或 到 产品 最 后 的 发 布 日 期 时 绘制 这 些 偏差 图 。 图 17-3 给 
出 的 是 每 个 阶段 的 样 例 数据 。 


40.00 
30.00 

这 20.00 
10,00 
0.00 








贸 基准 估计 加 经 修改 后 的 估计 口 修改 | 
图 17-3 分 阶段 的 投入 偏差 


如 果 在 基准 投入 和 修正 投入 之 间 有 很 大 差别 ， 则 说 明 初 始 估计 不 正确 。 计 算 每 个 阶段 的 
投入 偏差 (如 下 面 的 公式 计算 ) 在 修正 投入 和 实际 投入 之 间 提 供 一 个 定量 的 偏差 度量 。 

如 果 偏 差 只 考虑 修正 估计 和 实际 投入 ， 那 么 问题 出 现 了 : 基准 舍 
计 还 有 什么 用 呢 ? 正如 前 面 提 到 的 ， 投 入 偏差 图 为 估计 过 程 提供 了 输 偏差 多 =[( 实 际 投入 一 
入 。 当 估计 错误 (或 正确 ) 时 ， 重 要 的 是 找 出 错误 (正确 ) 将 在 那里 修正 估计 )/ 修 正 估计 ]*100 
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发 生 。 很 多 匆忙 的 修正 估计 是 为 了 快速 地 对 需求 改变 或 不 清楚 的 需求 作出 响应 。 如 果 是 这 种 
情况 ， 偏 差 计算 的 合适 参数 就 是 基准 估计 。 此 时 分 析 应 该 指出 修正 估计 过 程 中 存在 的 问题 。 
类 似 地 ， 基 准 估 计 过 程 中 由 于 计算 偏差 也 会 带 来 问题 。 因 此 ， 每 个 阶段 的 基准 估计 、 修 正 估 
计 和 实际 投入 应 画 在 一 起 。 偏 差 的 统一 整理 显示 在 表 17-1 中 。 
表 17-1 每 个 阶段 样 例 偏差 的 百分比 
投入 需求 设计 编码 测试 文档 化 缺陷 修复 


偏差 多 Nl 8.7 5 0 40 15 








在 软件 开发 生存 周期 的 任何 阶段 ， 超 过 5% 的 偏差 表明 估计 需要 进行 改进 。 在 表 17-1 里 ， 
可 接受 的 偏差 只 有 编码 和 测试 阶段 。 

偏差 也 会 是 负 。 负 偏差 表明 高 估 。 偏 差 数值 连同 分 析 有 助 于 更 好 地 估算 下 一 次 发 布 ， 或 
下 一 个 修正 估计 周期 。 | 


17.4.2 计划 偏差 (计划 与 实际 ) 


大 多 数 软件 项 目 不 仅 关注 投入 偏差 ， 还 关注 进度 计划 的 符合 程度 。 这 样 就 提出 进度 计划 
偏差 指标 。 像 投入 偏差 一 样 ， 进 度 计划 偏差 指 的 是 实际 进度 和 估计 进度 计划 之 间 的 差 ， 但 有 
一 点 不 同 。 取 决 于 项 目 所 使 用 的 软件 开发 生存 周期 模型 ， 多 个 阶段 可 能 同时 进行 ， 即 软件 开 
发 生存 周期 中 的 不 同 阶段 是 相互 重 释 的 ， 且 共用 一 些 相同 人 员 。 由 于 存在 这 种 复杂 情况 ， 进 
度 计 划 偏 差 只 在 项 目 层 面 的 里 程 碑 点 综合 计算 ， 而 不 在 软件 开发 生命 周期 的 每 个 阶段 分 别 计 
算 。 图 17-4 提 供 了 绘制 进度 计划 偏差 的 方法 。 

200.00 





150.00 


统 
发 100.00 





50.00 











估计 实际 /剩余 


基准 
鲜 估计 加 剩余 
17-4 计划 偏差 


使 用 图 17-4 中 的 数据 ， 参 考 估计 进度 计划 和 实际 进度 ， 用 上 一 节 介绍 的 类 似 公式 可 以 计 
算出 偏差 的 百分比 。 : 

在 每 个 里 程 碑 点 结束 时 计算 进度 计划 偏差 ， 了 解 项 目 遵照 进度 计划 进展 得 如 何 。 为 了 在 
项 目 进行 过 程 中 得 到 进度 的 真实 情况 ， 重 要 的 是 计算 项 目的 “还 剩余 花费 的 天 数 "， 并 将 这 一 
数据 同 “ 实 际 计 划 天 数 ” 放 在 一 起 ， 如 图 17-4 所 示 。 把 所 有 剩余 活动 加 在 一 起 就 可 以 得 到 
“还 剩余 花费 的 天 数 ”。 如 果 这 一 数据 没有 计算 并 标注 出 来 ， 那 么 它 对 于 项 目 进展 中 的 图 来 说 
就 没有 任何 价值 ， 因 为 无 法 直观 地 从 图 中 推测 出 偏差 。 当 发 布 日 期 到 达 时 ， 计 划 中 的 剩余 天 
数 就 会 变 为 零 。 

投入 和 进度 计划 偏差 应 该 全 面 而 不 是 孤立 地 进行 分 析 。 这 是 因为 ， 投 入 是 决定 成 本 的 一 
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个 主要 因素 ， 而 计划 决定 了 产品 能 够 抓 住 市 场 机 遇 的 程度 。 偏 差 可 以 分 为 负 偏差 、 零 偏差、 
可 接受 偏差 及 不 可 接受 偏差 。 通 常情 况 下 ，0~5% 属 于 可 接受 偏差 的 范围 。 表 17-2 给 出 了 特定 
的 场景 、 可 能 的 原因 以 及 结论 。 


表 17-2 投入 和 进度 计划 偏差 范围 的 解释 





投入 偏差 计划 偏差 可 能 的 原因 /结果 
零 或 可 接受 偏差 零 偏差 好 的 执行 项 目 
零 或 可 接受 偏差 可 接受 偏差 需要 稍微 改进 投入 或 进度 计划 估计 
不 可 接受 的 偏差 零 或 可 接受 的 偏差 低估 ， 需 要 更 进一步 分 析 
不 可 接受 的 偏差 不 可 接受 的 偏差 投入 和 进度 计划 都 被 低估 
负 偏 差 零 或 可 接受 的 偏差 高 估 和 按时 ， 投 入 和 进度 计划 都 需要 改进 
负 偏差 负 偏 差 高 估 和 提前 ， 投 入 和 进度 计划 都 需要 改进 


尽管 表 17-2 提 供 了 各 种 情况 下 的 可 能 原因 和 结果 ， 但 是 它 无 法 反映 出 所 有 的 可 能 原因 和 
结果 。 举 例 来 说 ， 一 个 阶段 或 模块 的 负 偏 差 会 抵消 产品 模块 另 一 个 阶段 的 正 偏差 。 因 此 ， 应 
该 研究 指标 中 的 “为 什么 和 怎么 做 ”， 而 不 是 仅仅 把 注意 力 放 在 实现 了 “是 什么 ”上 。 前 面 讨 
论 到 的 数据 挖掘 练习 会 对 这 种 分 析 有 所 帮助 。 下 面 列 出 一 些 分 析 投 入 和 阶段 计划 偏差 时 应 该 
提出 的 典型 问题 。 

。 投 入 偏差 的 出 现 是 因为 最 初 糟糕 的 估计 还 是 糟糕 的 执行 ? 

。 如 采 最 初 的 估计 被 证 明 是 不 合适 的 ， 是 不 是 缺乏 做 出 好 的 估计 所 需 的 支持 数据 ? 

。 如 采 某 些 投 入 和 进度 计划 与 预先 估计 的 不 符 ， 是 什么 原因 导致 了 偏差 ?所 测试 的 项 目 是 

不 是 出 现 了 技术 变化 ? 是 不 是 引入 了 新 的 测试 工具 ? 某 些 关键 人 物 是 不 是 离开 了 团队 ? 

。 如果 投入 符合 而 进度 计划 不 符合 ， 那 么 对 这 个 进度 计划 ， 是 不 是 并 行进 行 了 合适 的 考 

虚 ? 是 否 探索 了 合适 的 资源 复 用 ? 

。 可 否 改进 某 些 进程 或 者 工具 以 改善 并 行 度 ， 并 以 此 加 快 计划 的 实施 ? 

。 一旦 在 投入 和 进度 计划 中 遇 到 负 偏 差 〈 也 就 是 说 ， 完 成 项 目 比 原 定 的 投入 少 ， 进 度 快 )， 

我 们 是 否 知道 是 什么 提高 了 效率 ?如 果 知 道 ， 那 么 能 否 把 这 种 效率 制度 化 ， 以 获得 持 

续 改进 ? 


17.4.3 不 同 阶段 内 的 投入 分 布 


偏差 计算 有 助 于 发 现 承 诺 是 否 及 时 兑现 ， 以 及 估计 方法 是 否 切实 为 了 得 到 高 质量 的 
有 效 。 此 外 ， 如 果 能 够 获得 并 分 析 各 个 阶段 的 投入 分 布 ， 那 么 就 能 得 产品 发 布 ， 在 软件 开发 
到 有 关 产 品质 量 的 一 些 指示 。 例 如 : 生存 周期 的 每 一 阶段 部 

。 在 需求 上 的 投入 很 少 就 会 导致 频繁 的 需求 变动 ， 但 也 要 为 开发 需要 足够 和 合适 的 投入 。 

阶段 和 测试 阶段 留 下 足够 的 时 间 。 

。 在 测试 上 投入 不 足 会 导致 在 用 户 场地 突然 出 现 问题 ， 但 在 测试 上 的 投入 比 实 际 需要 多 

又 会 使 产品 失去 市 场 。 


不 同 阶段 的 分 布 百分比 在 策划 的 时 候 就 可 以 进行 估计 ， 这 些 数据 可 以 在 发 布 的 时 候 与 实 
际 数 据 相 比较 ， 以 便 对 发 布 和 估计 方法 更 有 信心 。 图 17-5 给 出 了 各 阶段 投入 分 布 的 例子 。 

成 熟 的 公司 至 少 会 在 需求 阶段 花费 总 投入 的 10%~15%， 在 设计 阶段 也 会 花费 差不多 同样 
的 投入 。 测 试 投入 比率 取决 于 发 布 版 本 的 类 型 和 现 有 代码 和 功能 的 改变 量 。 通 常 来 说 ， 公 司 
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在 测试 上 会 花费 总 投入 的 20%~50%。 


17% 23% 





图 17-5 实际 投入 分 布 

17.5 进度 指标 

任何 项 目 都 要 从 两 个 角度 进行 追踪 。 第 一 ， 项 目 在 投入 和 进度 计划 方面 做 得 如 何 。 这 也 
是 本 章 到 目前 为 止 研究 的 问题 。 另 一 个 同样 重要 的 角度 ， 是 找 出 产品 的 发 布 版 本 达到 质量 需 
求 的 程度 。 按 时 并 且 投 入 也 在 估计 偏差 之 内 ， 但 是 产品 的 发 布 版 本 带 有 许多 缺陷 ， 设 有 什么 
意义 ， 只 会 使 产品 无 法 使 用 。 测 试 的 一 个 主要 目的 ， 是 在 客户 发 现 缺 陷 之 前 尽 可 能 多 地 将 其 
找 出 。 产 品 中 发 现 缺陷 的 数量 是 重要 的 质量 指标 ， 因 此 本 节 要 讨论 反映 产品 缺陷 (因此 是 质 
量 ) 的 进展 指标 。 

测试 团队 发 现 问题 ， 而 修复 问题 则 要 靠 开 发 团队 。 根 据 这 一 思想 ， 缺 陷 指 标 进一步 分 为 
测试 缺陷 指标 (有 助 于 测试 团队 分 析 产 品质 量 和 测试 ) 和 开发 缺陷 指标 《有 助 于 开发 团队 分 
析 开 发 活动 ) 。 

已 经 发 现 了 多 少 缺 陷 和 将 会 发 现 多 少 潜在 缺陷 ， 这 两 个 参数 决定 了 产品 质量 和 对 产品 质量 
的 评 佑 。 对 这 种 评估 来 说 ， 测 试 的 进展 是 能 够 了 解 的 。 如 果 只 完成 了 50% 的 测试 就 发 现 了 100 个 
缺陷 ， 假 设 这些 缺 陷 均匀 地 分 布 于 产品 之 中 (同时 保持 其 他 参数 相同 ) ， 那 么 另外 80~100 个 缺 
陷 可 以 估计 为 残留 缺陷 。 图 17-6 显 示 了 通过 标注 测试 执行 情况 和 结果 表示 测试 进展 ， 参 见 彩 图 。 
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80% 
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40% 
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17-6 测试 用 例 执行 进展 


这 一 进展 图 给 出 了 已 执行 测试 用 例 的 通过 率 和 未 通过 率 、 挂 起 的 测试 用 例 以 及 等 待 修复 
缺陷 的 测试 用 例 。 以 这 种 方式 显示 测试 进度 ， 可 以 更 容易 地 理解 测试 状态 并 为 进一步 分 析 打 
下 基础 。 在 图 17-6 中 ,“ 未 运行 ”的 测试 用 例 每 周 都 在 递减 ， 这 表示 测试 用 例 正在 运行 。 从 图 
中 还 能 看 到 ， 通 过 百分比 增加 而 未 通过 百分比 减少 ， 说 明 测试 和 产品 质量 的 进展 是 积极 的 。 
图 中 受阻 特定 测试 用 例 执 行 的 缺陷 也 每 周 都 在 递减 。 因 此 ， 这 样 的 进展 图 表明 不 仅 测 试 进展 
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是 好 的 ， 而 且 产 品质 量 也 在 提高 (也 就 是 说 测试 是 有 效 的 )。 从 另 一 方面 来 说 ， 如 果 进 展 图 显 
示 随 着 周 数 的 增加 ,“ 未 运行 ”用 例 的 数目 并 没有 减少 ， 或 是 “受阻 ”用 例 数量 增多 , “通过 ” 
用 例 数 量 没 有 增加 ， 那 么 就 清楚 地 表明 产品 有 质量 问题 ， 并 会 阻碍 产品 的 发 布 。 


17.5.1 测试 缺陷 指标 


上 一 节 讨 论 的 测试 进度 指标 获得 随时 间 推 进发 现 缺陷 的 进度 。 下 面 的 指标 有 助 于 了 解 如 
何 利用 所 发 现 的 缺陷 改进 测试 和 产品 质量 。 不 是 所 有 的 缺陷 都 具有 相同 的 后 果 和 重要 性 。 一 
些 公司 通过 指派 抽 陷 优先 级 来 进行 分 类 (例如 P1、P2、P3 等 )。 根 据 缺 陷 的 优先 级 可 以 排列 出 
缺陷 修复 的 先后 顺序 。 例 如 ， 一 个 P1 级 的 缺陷 要 比 P2 级 的 缺陷 优先 得 到 修复 。 一 些 公司 使 用 
缺陷 严重 程度 (例如 S1、S2、S3 等 )。 缺 陷 的 严重 程度 能 够 让 测试 团队 掌握 某 个 产品 功能 缺陷 
的 影响 程度 。 例 如 ， 严 重度 为 S1 级 的 缺陷 表明 产品 的 主要 功能 要 么 无 法 使 用 ， 要 么 软件 崩溃 。 
S2 级 的 缺陷 表明 产品 失效 或 是 功能 无 法 使 用 。 表 17-3 给 出 了 不 同 优先 级 和 严重 程度 代表 的 意 
义 。 从 以 上 例子 中 可 以 很 清楚 地 看 出 ， 优 先 级 属于 管理 范畴 ， 是 相对 的 。 这 意味 着 事先 分 配 
的 缺陷 优先 级 可 以 动态 地 改变 。 严 重 程度 反映 着 产品 的 状态 和 质量 ， 因 此 它 是 绝对 的 且 不 能 
改动 。 一 些 公司 将 优先 级 和 严重 程度 结合 起 来 对 缺陷 进行 分 类 。 


表 17-3 缺陷 优先 级 和 严重 程度 一 一 解释 举例 











优先 级 含 义 
1 修复 具有 最 高 优先 级 的 缺陷 ， 在 下 一 次 构建 之 前 必须 修复 
2 在 下 一 轮 测试 周期 之 前 ， 修 复 具 有 高 优先 级 的 缺陷 
3 在 产品 发 布 前 ， 如 果 时 间 人 允许， 修复 具有 中 等 优先 级 的 缺陷 
4 推迟 到 下 一 个 发 布 版 本 进行 修复 ， 或 接受 这 个 缺陷 

严重 程度 省 义 


1 产品 基本 功能 失败 或 产品 崩溃 

2 出 平 意料 的 错误 状态 或 者 功能 不 能 发 挥 作用 
3 次 要 功能 失败 ， 或 性 能 与 预期 不 符 

4 装饰 性 问题 ， 并 且 对 用 户 无 影响 


由 于 不 同 的 公司 使 用 不 同 的 方法 来 定义 优先 级 和 严重 程度 ， 所 以 在 表 17-4 中 提供 了 通用 
缺陷 定义 和 分 类 ， 既 考虑 优先 级 又 兼顾 严重 程度 。 本 章 始终 坚持 这 种 分 类 。 


表 17-4 通用 缺陷 定义 和 分 类 











缺陷 类 别 

















至 关 重 要 产品 崩溃 或 不 可 用 

需要 立即 修复 
非常 重要 产品 的 基本 功能 不 能 运行 

需要 在 下 一 个 测试 周期 开始 前 进行 修复 
重要 产品 的 扩展 功能 不 能 运行 


不 影响 测试 进度 
在 产品 发 布 前 修复 













次 要 产品 表现 不 一 致 
对 测试 团队 或 用 户 无 影响 
时 间 允 许 时 进行 修复 
装饰 性 微小 的 影响 


本 次 发 布 不 必修 复 
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缺陷 发 现 率 

品 从 开始 到 结束 的 开发 周期 里 ， 依 照 一 定 的 时 间 间 隔 (比如 每 天 或 每 周 ) ， 通 过 跟踪 和 
画 出 所 发 现 的 缺陷 总 数 ， 可 以 看 出 缺陷 的 出 现 模 式 。 测 试 的 指导 思想 是 在 测试 周期 的 早期 尽 
ee 可 能 多 的 发 现 缺陷 。 然 而 ， 基 于 两 个 方面 的 原因 ， 这 种 思路 实现 起 来 
周期 内 尽早 地 发 现 坝 陷 . 不 太 可 能 。 第 一 ， 并 不 是 产品 的 所 有 功能 都 可 以 在 早期 开发 出 来 ， 由 
一 一 一 一 一 一 一 一 一 一 于 资源 的 安排 ， 产 品 功能 是 按 某 种 顺序 依次 开发 出 来 的 。 第 二 ， 本 章 
前 面 已 经 提 到 ， 有 些 测 试用 例会 由 于 出 现 比 较 严 重 的 缺陷 而 被 迫 中 止 。 如 果 晚 提交 的 产品 功 
能 中 有 缺陷 ， 或 应 该 发 现 某 类 缺陷 的 测试 受阻 ， 那 么 尽早 发 现 未 知 缺 陷 的 目的 将 无 法 达到 。 
一 旦 大 多 数 模 块 被 开发 出 来 ， 同 时 受阻 测试 的 缺陷 被 修复 ， 那 么 缺陷 出 现 率 将 会 增加 。 经 过 
一 段 时 间 的 缺陷 修复 和 检测 后 ， 缺 陷 出 现 率 会 趋 于 下 降 ， 这 种 现象 的 持续 可 以 促进 产品 发 布 。 

这 种 结果 就 是 如 图 17-7 所 示 的 “ 钟 形 曲 线 ”。 


缺陷 数 





时 间 -一 > 
-图 17-7 产品 缺陷 发 现 的 典型 模式 


对 于 适合 发 布 的 产品 ， 重 要 的 不 仅 是 缺陷 出 现 的 模式 ， 而 且 在 特定 的 持续 时 间 内 出 现 的 
缺陷 维持 在 很 小 数量 也 很 重要 。 过 去 几 天 内 的 缺陷 出 现 率 呈 钟 形 曲线 ， 且 发 现 的 缺陷 数 达到 
最 少 ， 这 表明 即将 发 布 的 产品 质量 很 可 能 是 不 错 的 。 

缺陷 修复 率 

如 果 测 试 目 的 是 尽早 发 现 缺 陷 ， 那 么 人 们 自然 地 期 望 开发 的 目的 是 一 旦 发 现 缺 陷 就 立即 
修复 。 如 果 缺 陷 修复 曲线 与 缺陷 出 现 一 致 ， 则 将 再 次 产生 如 图 17-7 钟 形 曲 线 所 示 的 结果 ， 参 
i 见 彩 图 。 有 一 个 原因 可 以 解释 为 什么 缺陷 修复 率 应 和 缺陷 出 现 率 相同 。 
人 如 果 在 周期 的 后 期 修复 了 较 多 的 缺陷 ， 则 不 可 能 对 可 能 产生 的 副作用 
现 然 陷 或 二 加 个 受 。 进行 充分 的 测试 。 正 如 回归 测试 中 所 讨论 的 ， 对 产品 缺陷 进行 修复 的 

同时 ， 也 会 产生 新 的 缺陷 。 因 此 ， 应 该 尽早 修复 缺陷 ， 并 彻底 测试 这 些 缺 陷 ， 以 找 出 所 有 引 

入 的 缺陷 。 如 果 不 遵循 这 个 原理 ， 由 缺陷 修复 所 引入 的 新 缺陷 可 能 刚好 在 发 布 前 出 现 ， 暴 圳 

出 新 缺陷 或 重新 出 现 老 缺 陷 ， 这 会 延误 产品 的 发 布 。 这 种 最 后 一 分 钟 的 修复 通常 不 仅 会 导致 

在 最 后 期 限 无 法 完工 或 产品 质量 出 现 问题 ， 而 且 会 使 开发 和 测试 团队 置 于 强大 的 压力 之 下 ， 

进而 影响 产品 的 质量 。 

未 解决 缺陷 率 
人 产品 中 未 解决 的 缺陷 数 是 产品 中 所 发 现 的 全 部 缺陷 数 减 去 已 修复 
ee 的 缺陷 数 。 如 前 所 述 ， 缺 陷 一 发 现 ， 就 应 该 立刻 修复 ， 而 且 缺 陷 出 现 
et oa 时 钟 形 曲线 。 如 果 缺 陷 修复 模式 像 直线 一 样 恒定 ， 未 解决 缺陷 就 像 图 
解决 所 陷 数 部 非常 接近 于 零 。 17-.7 所 示 的 钟 形 曲线 。 如 果 缺 陷 修复 模式 与 缺陷 出 现 率 相 匹配 ， 那 么 
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未 解决 缺陷 曲线 则 看 起 来 像 一 条 直线 。 但 是 ， 当 出 现 率 达到 钟 形 曲线 顶端 的 时 候 ， 不 可 能 修复 
所 有 的 缺陷 。 因 此 ， 在 很 多 项 目 中 ， 未 解决 缺陷 率 的 结果 是 钟 形 曲 线 。 在 测试 进行 中 ， 未 解决 
缺陷 率 应 该 保持 接近 于 零 ， 这 样 开发 团队 就 可 以 在 缺陷 出 现 后 很 快 地 进行 分 析 和 修复 工作 。 

高 优先 级 未 解决 缺陷 率 

只 关注 缺陷 发 现 率 、 缺 陷 修复 率 和 未 解决 缺陷 率 ， 对 于 完整 地 理解 缺陷 数量 还 是 不 够 的 。 
如 前 所 述 ， 并 不 是 所 有 缺陷 的 影响 和 严重 程度 都 相同 。 有 时 测试 产生 的 缺陷 非常 致命 ， 要 用 
巨大 的 投入 去 修复 和 测试 。 因 此 ， 重 要 的 是 看 产品 中 揭示 了 多 少 严重 问题 。 通 过 只 画 出 高 优 
先 级 缺陷 ， 滤 除 低 优先 级 缺陷 ， 对 未 解决 缺陷 率 进行 的 修正 叫做 高 优先 级 未 解决 缺陷 。 由 于 
越 接近 产品 的 发 布 ， 开 发 团队 越 不 要 修复 低 优先 级 的 缺陷 ， 以 免 修复 产生 难以 预料 的 副作用 ， 
这 是 很 重要 的 方法 。 通 常 在 接近 发 布 时 期 的 阶段 ， 仅 追踪 高 优先 级 缺陷 。 

高 优先 级 未 解决 缺陷 对 应 于 缺陷 分 类 的 至 关 重 要 和 非常 重要 。 一 些 公司 认为 ， 高 优先 级 
未 解决 缺陷 包括 重要 缺陷 〈 见 表 17-3 缺 陷 分 类 术语 )。 

一 些 高 优先 级 的 缺陷 可 能 需要 在 设计 和 体系 结构 上 进行 调整 。 如 果 软 件 开 发 生存 周期 的 
后 期 发 现 ， 产 品 的 发 布 就 要 延期 以 便 修复 这 些 缺 陷 。 但 是 ， 如 果 临 近 发 布 日 期 时 仅 发 现 低 优 
先 级 的 缺陷 ， 而 且 需 要 更 改 设 计 ， 很 可 能 管理 层 会 决定 不 修复 这 些 缺 陷 。 如 果 可 能 的 话 ， 会 
提议 实施 临时 的 回避 方案 ， 并 且 在 以 后 的 产品 发 布 时 再 修改 设计 。 

有 些 缺 陷 修 复 相 对 需要 较 少 的 时 间 ， 但 实际 投入 在 测试 的 时 间 不 少 。 修 复 相对 简单 ， 但 
重 测 是 一 件 费时 的 事情 。 如 果 产 品 临近 发 布 ， 那 么 对 于 这 样 的 缺陷 修复 必须 有 明智 的 选择 。 
对 于 高 优先 级 的 缺陷 尤其 如 此 。 在 执行 这 样 的 缺陷 修复 之 前 必须 估计 测试 所 需要 的 投入 。 如 
果 设 计 修复 的 投入 较 少 ,一 些 开 发 人 员 会 及 时 修复 缺陷 。 如 果 缺 陷 修复 需要 做 大 量 测试 进行 
验证 ， 那 么 需要 进行 仔细 分 析 ， 在 分 析 的 基础 上 作出 决策 。 在 这 种 情况 下 ， 由 于 涉及 的 测试 
投入 巨大 ， 提 供 一 个 临时 解决 方案 比 修复 缺陷 更 重要 。 因 此 ， 高 优先 级 未 解决 缺陷 应 该 进行 
单独 的 监控 。 

在 画 出 高 优先 级 未 解决 缺陷 时 ， 目 的 是 在 测试 周期 的 任何 时 候 都 能 对 发 布 关系 重大 的 
看 到 未 解决 缺陷 曲线 趋 近 于 零 。 这 意味 着 高 优先 级 缺陷 需要 立刻 修复 。 。” 缺陷 应 给 予 额外 的 关注 。 

缺陷 趋势 


上 面 已 经 讨论 了 缺陷 的 单个 度量 方法 ， 现 在 应 该 把 上 述 所 有 内 容 如 果 从 缺陷 发 现 率 、 
统一 为 一 张 缺陷 趋势 图 。 图 17-8 给 出 了 包含 本 市 所 讨论 的 所 有 图 表 的 缺陷 修复 率 、 未 解决 款 
样本 数据 。 陷 率 和 高 优先 级 未 解决 

从 图 17-8 (参见 彩 图 ) 可 以 观察 到 ， 缺陷 率 等 多 个 视点 分 析 ， 


1. 缺陷 发 现 率 、 缺 陷 修复 率 、 未 解决 缺陷 以 及 高 优先 级 未 解决 缺 ”效果 会 更 好 。 
陷 均 遵循 钟 形 曲线 模式 。 这 标志 着 在 第 19 周 末 产 品 发 布 将 准备 就 绪 。 

2. 需要 分 析 缺 陷 修复 率 的 突然 下 降 和 突然 增长 《如 图 17-8 所 示 的 第 13 周 和 第 17 周 ) 。 

3. 在 第 19 周 结束 时 ， 有 接近 75 个 未 解决 的 缺陷 。 而 高 优先 未 解决 缺陷 在 19 周 结束 时 接近 
零 ， 因 此 可 以 推断 出 所 有 的 未 解决 缺陷 属于 低 优 先 等 级 ， 这 标志 着 发 布 已 准备 就 绪 。 在 发 布 
前 需要 分 析 未 解决 缺陷 。 

4. 缺陷 修复 率 和 未 解决 缺陷 率 不 相符 。 如 果 缺 陷 修复 率 提高 了 ， 新 发 现 的 缺陷 从 第 14 周 
可 控 ， 这 样 就 能 加 快 产品 发 布 周 期 (可 以 将 计划 减少 4~5 周 的 时 间 )。 

5. 缺陷 修复 率 与 缺陷 发 现 率 不 在 一 个 层次 上 。 在 第 10 周 缺陷 发 现 率 高 于 缺陷 修复 率 。 使 
缺陷 发 现 率 等 于 缺陷 修复 率 ， 可 以 避免 第 4~16 周 出 现 的 未 解决 缺陷 率 峰 值 。 
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6. 平滑 的 高 优先 级 未 解决 缺陷 率 表明 高 优先 级 缺陷 被 密切 跟踪 并 得 到 修复 。 
通过 分 析 上 述 的 数据 和 关联 每 个 数据 及 其 序列 ， 可 以 得 到 更 深层 次 的 结论 。 这 样 的 分 析 
有 助 于 当前 和 将 来 的 产品 发 布 。 








350 
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图 17-8 缺陷 趋势 
缺陷 分 类 趋势 
- 图 17-8 中 ,缺陷 分 类 只 有 二 个 级 别 (高 优先 级 和 低 优先 级 缺陷 )。 
Rose 一 些 数据 挖掘 或 图 表 分 析 需 要 更 详细 的 缺陷 分 类 信息 :至 关 重 要 的 、 
刀 RN， i 
常 重要 的 、 重 要 的 、 次 要 的 和 装饰 性 缺陷 。 当 讨论 总 
辣 分 关机 点， 有 有 了 了 克 。 非常 重要 的 、 重 要 的 、 次 要 的 和 装饰 性 抽 聊 。 当 讨论 未 解决 负 隐 的 总 


数目 时 ， 可 能 会 提出 以 下 一 些 问题 : 

。 它们 中 有 多 少 至 关 重 要 的 缺陷 ? 

。 多 少 是 非常 重要 的 缺陷 ? 

。 多 少 是 重要 的 缺陷 ? 

这 些 问 题 需要 根据 缺陷 分 类 分 别 绘 出 图 表 。 至 关 重 要 、 非 常 重要 、 重 要 、 次 要 和 装饰 性 
缺陷 的 总 数 之 和 等 于 缺陷 总 数 。 在 分 别 画 出 的 每 一 类 缺陷 中 ， 每 个 缺陷 的 顶部 登 加 得 到 缺陷 
总 数 的 图 称 作 “ 堆 栈 区 域 图 ”。 这 种 类 型 的 图 有 助 于 区 分 每 种 缺陷 类 型 ， 同 时 展示 缺陷 如 何 累 
计 对 缺陷 总 量 的 贡献 。 图 17-9 中 给 出 的 样本 数据 解释 了 堆栈 区 域 图 的 概念 。 








于 装饰 性 好 
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图 17-9 缺陷 分 类 趋势 
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从 17-9 图 中 可 以 观察 到 : 


1. 由 于 所 有 类 型 的 缺陷 都 有 贡献 ， 使 第 5 周 的 缺陷 数目 达到 峰值 ， 其 中 至 关 重 要 和 非常 重 


要 的 缺陷 起 显著 的 作用 。 


2. 由 于 至 关 重要 和 非常 重要 的 缺陷 的 作用 ， 第 9 周 缺 陷 数目 出 现 高 峰 。 
3. 由 于 第 9 周 出 现 了 峰值 ， 因 此 需要 再 观察 两 周 的 时 间 ， 以 确定 产品 是 否 可 以 发 布 。 
图 17-9 中 优先 分 布 趋势 可 以 按 缺陷 出 现 率 和 未 解决 缺陷 率 画 出 。 然 而 ， 如 果 需 要 单独 对 


出 现 缺陷 进行 分 析 ， 则 缺陷 分 类 趋势 可 以 按 缺 陷 出 现 率 画 出 。 


对 于 发 布 就 绪 程 度 的 分 析 ， 重 要 的 是 考虑 构成 至 关 重 要 和 非常 重要 缺陷 中 出 现 缺陷 或 未 
解决 缺陷 所 占 的 百分比 。 至 关 重 要 和 非常 重要 缺陷 的 低 百 分 比 ， 次 要 和 表面 缺陷 的 高 百分比 
标志 着 发 布 准备 就 绪 。 为 了 进行 分 析 ， 特 定 周 的 缺陷 分 类 可 画 为 饼 形 图 。 为 了 分 析 发 布 就 绪 。 


程度 ， 图 17-10 给 出 了 第 10 周 的 饼 形 趋势 图 。 
装饰 性 18m 至 关 重 要 11% 






要 18% 





图 17-10 缺陷 分 布 的 饼 形 图 





非常 重要 18% 


从 图 17-10 可 观察 到 ， 接近 29% 的 缺陷 属于 至 关 重 要 和 非常 重要 的 缺陷 类 别 ， 这 标志 着 产 


品 达 不 到 可 接受 的 发 布 质量 。 
权重 缺陷 趋势 


堆栈 区 域 图 提供 了 一 些 信息 ， 这 些 信 息 表 明 不 同 级 别 和 种 类 的 缺陷 如 何 影响 缺陷 总 数 。 
在 这 种 方法 中 ， 所 有 缺陷 处 在 相同 水 平 。 例 如 ， 非常 重要 的 缺陷 和 装饰 性 缺陷 被 同等 对 待 ， 
都 算 作 一 个 缺陷 。 这 种 相同 的 缺陷 计数 方法 把 至 关 重 要 和 非常 重要 缺陷 的 严重 性 排除 在 外 。 


为 了 解决 这 个 问题 ， 引 入 了 叫做 权重 缺陷 的 度量 。 这 个 概念 有 助 于 快 
速 地 分 析 缺 陷 ， 而 不 用 考虑 缺陷 的 分 类 。 在 这 种 处 理 方法 中 ， 并 不 是 
所 有 的 缺陷 都 采用 同样 的 方式 计数 。 严 重 的 缺陷 相 比 不 严重 的 缺陷 给 
予 较 高 的 权重 。 例 如 ， 使 用 类 似 下 面 给 出 的 公式 可 进行 所 有 带 权 重 的 
缺陷 计数 。 根 据 缺 陷 的 优先 级 和 严重 程度 ， 每 类 缺陷 所 得 到 的 权重 或 
增加 的 数字 可 由 公司 具体 制定 。 


权重 缺陷 = (至 关 


重要 缺陷 x5 十 非常 重要 
缺陷 Xx4 十 重要 缺陷 XxX3 
十 次 要 缺陷 xX2 十 装饰 性 
缺陷 ) 


分 析 上 述 公式 时 ， 需 要 注意 每 个 至 关 重 要 缺陷 记 为 五 个 缺陷 ， 而 装饰 性 缺陷 记 为 一 个 。 
通过 这 个 公式 不 必 再 对 堆栈 区 域 和 饼 图 进行 分 析 ， 因 为 这 个 格式 结合 了 所 需 的 两 种 视点 。 根 


据 图 17-11 给 出 的 是 图 17-10 对 应 的 权重 缺陷 图 。 

从 图 17-11 中 可 以 注意 到 : 

1. 第 9 周 有 较 多 的 权重 缺陷 ， 这 意味 着 存在 “大 量 的 小 缺陷 ”或 
“相当 多 的 大 缺陷 *， 或 两 者 兼 而 有 之 。 这 与 使 用 堆栈 区 域 图 解释 相同 
的 数据 是 一 致 的 。 


“大 缺陷 和“ 大量 


的 小 缺陷 ”都 会 影响 产 
品 的 发 布 。 


2. 第 10 周 有 相当 多 的 权重 缺陷 (超过 50 个 ) ， 这 标志 着 产品 发 布 还 未 准备 好 。 
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图 17-11 权重 缺陷 趋势 


因此 ， 权 重 缺 陷 提 供 了 一 种 综合 的 缺陷 视点 ， 不 需要 探究 细节 ， 这 可 以 节省 缺陷 分 析 的 
时 间 。 

缺陷 成 因 分 布 

上 面 讨论 的 所 有 指标 都 有 助 于 分 析 缺 陷 及 其 影响 。 这 很 自然 地 引出 下 面 的 问题 : 

1. 缺陷 为 什么 发 生 ? 根本 的 原因 是 什么 ? 

2. 为 了 通过 测试 捕获 更 多 的 缺陷 ， 应 该 关注 哪些 区 域 ? 

发 现 缺 陷 根本 成 因 有 助 于 识别 更 多 的 缺陷 ， 有 时 甚至 能 预防 缺陷 发 生 。 例 如 ， 通 过 分 析 
缺陷 根本 成 因 发 现代 码 级 问题 产生 了 最 多 的 缺陷 ， 那 么 测试 重点 应 放 在 白 盒 测 试 和 代码 评审 
上 ， 以 防止 产生 更 多 的 缺陷 。 这 种 发 现 缺陷 成 因 的 分 析 有 助 于 回调 到 软件 开发 生存 周期 阶段 ， 
重新 执行 这 个 阶段 及 影响 区 域 ， 而 不 是 发 现 和 修复 缺陷 ， 因 为 这 意味 着 在 特定 情况 下 “无 休 
止 的 循环 ”。 图 17-12 中 展示 了 根据 一 些 样本 数据 绘制 的 “缺陷 成 因 分 布 ”。 


| 















需求 
设计 
编码 
特性 需求 
变更 需求 
留 第 三 方 
图 其 他 


设计 
10% 


族 器 如 区 可 








特性 需求 
4% 


编码 
37% 








图 17-12 缺陷 成 因 分 布 图 
如 图 17-12 所 示 ， 编 码 占 总 缺陷 的 37%。 如 上 所 述 ， 更 多 的 测试 应 该 集中 到 白 盒 测试 方法 
上 。 下 一 个 对 总 缺陷 有 较 大 影响 的 ( 占 20%) 是 需求 改变 。 这 意味 着 当 项 目 在 进行 时 ， 需 求 
始终 在 改变 。 根 据 所 采用 的 软件 开发 生存 周期 模式 (请 参阅 第 2 章 )， 应 该 采取 适合 的 行动 。 
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比如 ， 遵 循 螺旋 或 者 敏捷 方法 的 项 目 中 20% 的 需求 改变 是 可 以 接受 的 。 但 在 使 用 V 字 模型 或 瀑 
布 模型 的 项 目 里 ， 这 个 比例 是 不 能 接受 的 ， 因 为 这 些 改变 可 能 会 影响 产品 发 布 的 质量 和 时 间 。 





在 一 定 的 时 间 周 期 间隔 内 ， 可 以 反复 分 析 缺 陷 成 因 ， 同 时 可 观察 一 一 一 
成 因 的 趋势 。 在 项 目 开始 时 ， 可 能 只 有 需求 缺陷 。 随 着 进入 后 续 阶 段 ， 了 解困 陷 成 因 有 助 于 
开始 出 现 其 他 缺陷 。 了 解 这 些 有 助 于 分 析 在 软件 开发 生存 周期 的 哪个 发 现 要 多 的 献 陷 ， 而 且 
阶段 发 现 什么 缺陷 。 例 如 ， 与 在 需求 阶段 本 身 发 现 缺陷 相 比 ， 在 最 后 。 能 在 开发 周期 的 早期 阶 
回归 测试 阶段 发 现 需求 缺陷 需要 更 大 的 工作 量 和 成 本 。 这 种 分 析 有 助 ” 藤 牟 防 类 似 的 陷 的 发 生 。 


于 在 软件 开发 生存 周期 模型 的 特定 阶段 识别 问题 ， 同 时 预防 类 似 的 问题 出 现在 当前 和 将 来 的 
产品 发 布 版 本 中 。 


17.5.2 开发 缺陷 指标 


到 目前 为 止 ， 本 章 一 直 关 注 缺 陷 和 缺陷 分 析 ， 以 帮助 了 解 产品 质量 和 提高 测试 的 有 效 性 
现在 采取 一 种 不 同 的 视点 看 指标 是 如 何 用 于 改进 开发 活动 的 。 本 节 讨 论 的 缺陷 指标 有 助 于 改 
进 开发 活动 ， 因 此 称 为 开发 缺陷 指标 。 测 试 缺 陷 指 标 关注 缺陷 的 数目 ， 而 开发 缺陷 指标 则 努 
力 把 这 些 缺 陷 上 映射 到 产品 不 同 的 组 件 和 一 些 开 发 参数 上 ， 比 如 代码 行 。 

按 组 件 统计 的 缺陷 分 布 

虽然 统计 产品 中 的 缺陷 数 是 重要 的 ,但 是 对 于 开发 来 说 ， 重 要 的 是 将 缺陷 映射 到 产品 的 
不 同 组 件 ， 以 便 分 配合 适 的 开发 人 员 修 复 这 些 缺 陷 。 负 责 开 发 的 项 目 经 理 要 维护 模块 及 对 应 
开发 人 员 的 关系 列表 。 在 这 张 列表 中 ， 列举 了 所 有 的 产品 模块 和 开发 人 员 。 项 目 经 理 根 据 每 
一 个 模块 中 存在 的 缺陷 数目 、 修 复 缺 陷 需 要 的 工作 量 和 每 一 个 模块 可 用 的 技术 分 配 资源 。 作 
为 一 个 例子 ， 图 17-13 给 出 了 不 同 组 件 的 缺陷 分 布 。 





缺陷 
图 17-13 按 模块 统计 的 缺陷 分 布 


在 图 17-13 中 可 以 注意 到 : 四 个 组 件 (安装 、 报 告 、 客 户 和 数据 库 ) 共有 20 个 以 上 的 缺陷 ， 
标志 着 这 些 组 件 需 要 更 多 的 关注 和 资源 。 在 图 例 中 缺陷 和 分 类 使 用 不 同 彩 色 和 阴影 表示 。 缺 
陷 分 类 以 及 对 应 产品 每 个 部 件 的 缺陷 总 数 有 助 于 项 目 经 理 分 配 并 处 理 这 些 缺 陷 。 
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关于 产品 发 布 还 有 一 个 问题 要 考虑 ， 就 是 要 发 布什 么 样 的 产品 。 假 如 产品 中 有 一 个 独立 、 
一 了 元 玉 大 疝 ， 产生 了 大 量 缺 隐 的 组 件 ， 如 果 其 他 所 有 组 件 都 很 稳 定 ， 那 么 碱 少 发 布 
各 全 。 版 本 的 内 容 ， 副 除 产生 缺 了 的 组 件 ， 只 发 布 比较 稳定 的 组 件 ， 从 而 清 
的 各 件 有 有 于 了 站 厅 舍 周 。 足 产品 发 布 日期 和 发 布 质量 的 要 求 。 这 样 人 的 前 提 是 ， 出 除 组 件 不 会 
生生 刘 ， 瑟 人生 于 对 发 布 产品 的 总 体 功能 起 决定 性 影响 。 以 上 把 产品 缺 聊 分 类 映射 到 产 
定 发 布什 么 样 的 产品 。 。”。 唱 组 件 的 作法 有 利于 做 出 这 类 决定 。 
缺陷 密度 和 缺陷 排除 率 
质量 高 的 产品 在 报废 前 会 有 较 长 的 使 用 寿命 。 产 品 的 使 用 寿命 由 它 的 质量 决定 ， 而 不 
取决 于 发 布 产 品 的 次 数 。 对 于 已 发 布 的 产品 ， 产 品质 量 的 合理 度量 是 在 测试 中 发 现 的 缺陷 
数 和 产品 发 布 后 发 现 的 缺陷 数 。 如 果 跟 踪 不 同 版 本 的 这 些 指标 趋势 ， 就 可 以 了 解 到 产品 随 
着 版 本 的 不 断 发 布 而 不 断 地 得 到 (或 没有 ) 改善 的 情况 。 收 集 和 分 析 这 类 数据 的 目的 ， 是 
通过 发 布 每 个 版 本 来 提高 产品 质量 。 用 户 的 期 望 值 会 随 着 时 间 的 流逝 而 提高 ， 因 此 这 个 指 
标 非常 重要 。 
然而 在 产品 多 次 发 布 后 只 比较 缺陷 数目 是 不 恰当 的 。 通 常 ， 软 件 产品 经 历 的 发 布 (包括 
后 来 的 版 本 升级 ) ， 就 编码 行 数 或 其 他 类 似 的 度量 而 论 ， 产 品 的 规模 也 随 之 增加 。 尽 管 产品 规 
模 增加 ， 客 户 仍然 希望 产品 质量 有 所 提高 。 
与 源 代码 和 缺 陷 相 关 的 指标 之 一 是 续 陷 密度。 在 产品 中 这 个 指标 用 产生 缺 陷 的 代码 行 数 
来 映射 缺陷 密度 。 
计算 缺陷 密度 有 几 个 标准 公式 ， 其 中 每 千 行 代码 的 缺陷 数 是 进行 估算 和 制订 计划 最 简单 
二 rn 
ee 这样 的 信息 可 以 按照 每 个 里 程 看 或 每 个 版 本 画 出 ， 以 便 了 解 随 着 
0 时 间 进 展 的 产品 质量 。 这 个 指标 与 多 个 版 本 的 产品 质量 度量 有 关 ， 可 








以 将 当前 版 本 的 每 千 行 代码 缺陷 数 和 以 前 的 版 本 进行 比较 。 这 个 指标 
有 多 个 变种 ， 适 用 于 产品 发 布 版 本 ， 其 中 之 一 是 计算 AMD (添加 、 修 改 、 删 除 代 码 ) 来 发 现 
某 次 产品 发 布 对 产品 质量 有 了 什么 影响 。 对 于 产品 开发 ， 构 成 产品 的 代码 并 不 是 每 个 版 本 中 
都 完备 ， 每 次 产品 发 布 都 要 在 现 有 产品 中 增加 新 功能 ， 产 品 要 进行 修改 ， 以 修复 存在 的 缺陷 ， 
从 产品 中 删除 不 再 使 用 的 功能 。 因 此 ， 在 这 种 情况 下 ， 通 过 计算 程序 的 代码 数量 〈 行 数 ) 来 
分 析 产 品质 量 的 提升 或 下 降 是 不 合适 的 。 因 此 ， 上 面 公 式 的 分 母 需要 修改 ， 包 含 “ 在 千 行 代 
码 中 所 有 的 可 执行 的 AMD 代 码 数量 。 修 正 过 的 公式 为 : 


每 千 行 代码 缺陷 =( 产 品 中 所 发 现 缺陷 的 总 数 )/( 千 行 代码 中 所 有 可 执行 的 AMD 代 码 数量 ) 


每 千 行 代码 缺陷 数 可 以 作为 产品 发 布 的 判断 准则 ， 也 可 以 作为 有 关 代 码 和 缺陷 的 产品 质 
量 指示 。 由 测试 团队 发 现 的 缺陷 需要 由 开发 团队 进行 修复 。 因 此 ， 产 品 的 最 终 质 量 由 开发 和 
测试 活动 共同 决定 。 因 此 需要 用 来 分 析 开 发 和 测试 阶段 的 综合 指标 ， 把 它们 映射 到 产品 发 布 
版 本 中 。 缺 陷 清 除 率 (百分比 ) 可 用 于 这 个 目的 。 

缺陷 清除 率 的 计算 公式 如 下 : 

(通过 验证 活动 发 现 的 缺陷 十 单元 测试 发 现 的 缺陷 ) / (由 测试 团队 发 现 的 缺陷 ) x 100 

上 面 的 公式 有 助 于 发 现 验 证 活动 和 通常 由 研发 团队 负责 的 单元 测试 的 效率 ， 并 将 此 与 测 
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试 团队 发 现 的 缺陷 进行 对 比 。 在 多 个 版 本 中 对 这 些 指标 进行 追踪 ， 并 研究 验证 和 质量 保证 活 
动 的 改进 趋势 。 作 为 一 个 例子 ， 图 17-14 给 出 了 上 面 讨 论 的 两 种 指标 : 每 千 行 代码 缺陷 数 和 缺 
陷 移 除 百分比 。 


一 











~ 一 缺陷 数 / 千 代码 行 
-~ 缺陷 清除 率 多 





名 SE 














图 17-14 每 千 行 代码 缺陷 数 和 缺陷 移 除 百分比 


从 图 17-14 可 以 看 出 ， 缺 陷 清 除 率 提高 时 ， 每 千 行 代 码 缺 陷 数 却 下 降 ， 这 说 明 通过 产品 发 
布 ， 产 品 的 质量 有 所 提高 。 第 二 版 和 第 一 版 相 比 缺陷 清除 率 下 降 了 ， 第 五 版 和 第 四 版 相 比 每 
千 行 代码 缺陷 数 有 所 上 升 ， 这 说 明 还 需要 对 一 些 问题 进行 深入 分 析 ， 找 出 问题 的 根源 并 加 以 
修正 。 

未 解决 缺陷 的 寿命 分 析 

以 上 讨论 中 的 大 部 分 图 和 指标 ， 包 括 未 解决 缺陷 趋势 、 未 解决 缺陷 的 分 类 及 其 修复 率 ， 
只 范 伯 明 了 矣 隐 的 烤 生 。 而 绕 有 用 里 出 亦 隐 的 圭 冤 信息 。 寿命 是 指 入 复 喜 陪 所 祝 的 时 
缺陷 等 待 修复 的 时 间 长 短 。 一 些 很 难 修复 或 者 需要 大 量 工作 的 缺陷 疗 己 天 合成 正 邢 。 
可 能 会 有 较 长 的 时 间 延 期 。 因 此 ， 按 这 种 方式 ,缺陷 的 寿命 长 短 代 一 一 一 一 一 一 一 一 一 一 
表 了 需要 修复 缺陷 的 复杂 程度 。 如 果 给 定 修复 缺陷 的 复杂 性 和 所 需 时 间 , 就 要 进行 实时 跟踪 ， 
否则 将 可 能 延期 直到 临近 产品 发 布 ， 甚 至 耽误 产品 发 布 。 跟 踪 缺 陷 的 方法 称 为 未 解决 缺陷 寿 
命 分 析 。 

为 了 进行 分 析 ， 要 从 发 现 未 解决 缺陷 到 现在 的 持续 时 间 进 行 计 算 ， 每 周 在 堆栈 区 域 图 中 
画 出 每 个 缺陷 的 重要 程度 。 具 体 见 图 17-15。 这 个 图 有 助 于 发 现 缺陷 是 否 在 发 现 后 就 立即 修复 ， 
确保 挂 起 很 长 时 间 的 缺陷 给 予 合适 的 优先 级 。 前 面 讨论 过 的 缺陷 修复 率 只 谈 到 数量 ， 但 寿命 
分 析 考 虑 到 持续 时 间 。 指 标 和 相应 图 表 的 目的 在 于 识别 缺陷 ， 尤 其 是 高 优先 级 缺陷 ， 以 及 已 
经 等 了 很 久 但 还 没有 修复 的 缺陷 。 

从 图 17-15 可 以 看 出 : 

1. 第 4 周至 关 重 要 缺陷 的 寿命 增加 。 

2. 第 3~7 周 装饰 性 缺陷 的 寿命 失控 。 

3. 缺陷 的 累积 寿命 在 第 2 周 里 和 第 8 周 后 都 在 掌控 之 中 。 
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图 17-15 未 解决 缺陷 的 寿命 分 析 


引入 和 重新 开放 缺陷 的 趋势 

当 增加 新 的 代码 或 者 改变 原 有 代码 ， 以 进行 缺陷 修复 时 ， 一 些 先前 运行 正常 的 程序 可 能 
停止 运行 。 这 称 为 引入 缺陷 。 这 些 缺 陷 是 在 修复 原 有 缺陷 时 注入 到 代码 中 或 优化 产品 时 生成 
的 ， 这 意味 着 这 些 缺 陷 以 前 并 不 在 代码 中 ， 对 应 这 些 功能 曾经 很 正常 。 

有 时 ， 通 过 代码 修改 没有 彻底 解决 问题 ， 而 另 一 些 修改 可 能 再 次 生成 以 前 修复 过 的 缺陷 。 
这 叫做 重新 开放 缺陷 。 因 此 ， 重 新 开放 缺陷 是 指 缺陷 修复 后 不 能 正常 运行 ， 或 者 是 以 前 修复 
过 但 又 重新 出 现 的 缺陷 。 在 没有 完全 理解 缺陷 产生 的 原因 时 修复 缺陷 就 可 能 出 现 重 新 开放 缺 
陷 。 这 叫做 缺陷 的 不 完全 修复 。 

所 有 上 面 提 到 的 情况 都 要 求 在 增加 或 者 修改 代码 以 增强 产品 功能 或 进行 缺陷 修复 的 时 候 ， 
遵循 编码 原则 和 合适 的 评审 机 制 。 遵 循 这 样 的 编码 原则 可 以 优化 测试 投入 ， 并 且 有 利于 实施 
第 8 章 所 讨论 的 回归 测试 。 太 多 的 引入 缺陷 和 重新 开放 缺陷 意味 着 额外 的 缺陷 修复 和 测试 周期 。 
因此 ， 需 要 收集 这 些 指标 并 定期 加 以 分 析 。 图 17-16 给 出 了 通过 样本 数据 绘制 的 引入 缺陷 和 重 
新 开放 缺陷 趋势 。 


se 重新 打开 的 缺陷 
昌 引入 的 缺陷 





图 17-16 引入 缺陷 和 重新 开放 缺陷 
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从 图 17-16 中 可 以 观察 到 : 
1. 重新 开放 缺陷 从 第 4 周 起 便 维 持 在 一 个 高 水 平 上 (图 17-16 所 示 与 重新 开放 缺陷 一 致 的 
区 域 图 的 厚度 表明 了 这 一 点 )。 
测试 的 目的 不 是 为 了 
po 3 上 持 9 高 > ? 多 已 旺 
Ps 在 第 4 同和 畏 9 风 发 秽 宇 。 避 光 帮 先 和 各 各 到 入 这 


3. 在 第 9 周 和 第 10 周 的 所 有 引入 缺陷 与 重新 开放 缺陷 的 数据 表明 herr 
代码 不 稳定 ， 由 于 缺陷 没有 减少 的 趋势 ， 产 品 不 能 发 布 。 在 这 种 情况 一 ~ 


下 ， 开 发 团队 应 该 检查 本 周 改动 的 代码 ， 并 找 出 问题 的 根源 。 越 是 经 常 进行 这 样 的 分 析 ， 越 
可 以 更 早 地 发 现 产生 问题 的 区 域 。 


17.6 生产 力 指标 


生产 力 指标 包括 产品 投入 的 多 种 度量 和 参数 。 这 些 度量 和 参数 有 助 于 发 现 整个 团队 的 能 
力 以 及 其 他 目的 ， 比 如 : 

1. 估计 新 的 产品 发 布 。 

2. 了 解 团队 的 进展 情况 ， 弄 清楚 发 生 〈 正 向 和 反 向 ) 偏差 的 原因 。 

3. 估算 出 可 以 发 现 的 缺陷 数 。 

4. 估算 出 产品 发 布 的 日 期 和 产品 的 质量 。 

5. 估算 出 产品 发 布 所 需 的 成 本 。 


17.6.1 每 100 小 时 测试 发 现 的 缺陷 数 


第 1 章 提 到 过 ， 程 序 测试 只 能 证 明 缺陷 的 存在 ， 而 不 能 消除 缺陷 。 因 此 ， 合 理 的 推断 是 : 
测试 没有 尽头 ， 而 且 测 试 越 多 ， 发 现 的 缺陷 就 越 多 。 但 是 进一步 的 测试 没有 发 现任 何 缺陷 时 ， 
就 会 造成 收益 的 下 降 。 如 果 产 品 中 发 现 的 缺陷 在 减少 ， 也 可 能 意味 着 以 下 情况 ， 

1. 测试 没有 效果 。 

2. 产品 的 质量 在 改善 。 

3. 用 在 测试 上 的 投入 在 减少 。 

前 两 个 问题 已 经 包含 在 本 章 讨论 过 的 指标 中 。 每 100 小 时 测试 发 现 的 缺陷 数 指 标 覆 盖 了 第 
三 点 ， 按 照 投 入 把 所 发 现 的 产品 缺陷 数 规范 化 。 每 100 小 时 测试 发 现 的 缺陷 数 的 计算 公式 如 下 : 


每 100 小 时 测试 发 现 的 缺陷 =( 一 段 时 期 内 发 现 的 所 有 缺陷 /发 现 这 些 缺 陷 所 用 时 间 ) x 100 


投入 在 判断 产品 质量 方面 起 了 重要 作用 。 图 17-17 使 用 上 面 的 公式 通过 样本 数据 说 明了 这 
种 作用 。 

图 17-17 中 的 两 个 图 都 使 用 了 相同 的 缺陷 数据 作为 缺陷 分 类 趋势 ， 但 花费 的 投入 不 同 。 在 
图 17-17a 中 ， 假 定 在 整个 过 程 中 投入 恒定 ， 该 图 产生 钟 形 曲 线 ， 这 表明 产品 发 布 就 绪 。 

然而 ， 在 现实 生活 中 ， 上 述 的 假设 不 是 成 立 的 。 每 周 的 测试 投入 不 可 能 相同 。 如 果 测 试 
投入 随 着 产品 发 布 的 临近 而 减少 ， 图 标 及 其 分 析 有 时 会 产生 误导 作用 。 这 意味 着 ， 缺 陷 数 量 
下 降 的 原因 不 是 因为 产品 质量 的 提高 , 而 是 对 产品 测试 的 关注 下 降 了 。 一 
在 图 17-17b 中 ， 假 设 在 第 9 周 和 第 10 周 花费 了 15 个 小 时 ， 而 在 其 他 各 用 所 作 的 投入 规范 
周 都 花费 了 120 个 小 时 。 这 种 假设 更 贴近 现实 ， 实 际 表明 产品 的 质量 “化 缺陷 数 提供 了 产品 发 
在 下 降 ， 在 第 9 周 和 第 10 周 的 测试 中 减少 了 投入 ， 但 发 现 了 更 多 的 缺 ”市 质量 的 另 一 种 视角 。 
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陷 。 图 17-17b 的 这 个 例子 清楚 地 说 明 产 品 未 做 好 发 布 的 准备 。 


每 100 小 时 测试 发 现 的 缺陷 数 每 100 小 时 测试 发 现 的 缺陷 数 





图 17-17 缺陷 分 类 趋势 


不 看 投入 就 判断 产品 质量 会 产生 误导 ， 因 为 图 17-17a 所 示 的 下 降 趋 势 假 定 各 周 投入 都 是 相 
同 的 。 从 图 17-17b 可 以 看 出 测试 人 员 退 出 测试 或 者 用 于 测试 的 人 员 数 量 不 足 ， 是 造成 缺陷 数 下 
降 的 原因 。 每 100 小 时 测试 发 现 的 缺陷 数量 提供 了 重要 视角 ， 对 于 产品 发 布 可 做 出 正确 决定 。 


17.6.2 每 100 小 时 的 测试 用 例 执 行 数 


在 一 段 时 间 内 测试 团队 所 执行 的 测试 用 例 数 取 决 于 测试 团队 的 生产 力 和 产品 的 质量 。 必 
须 准确 地 估计 团队 的 生产 力 ， 以 便 对 当前 的 发 布 版 本 进行 追踪 ,估算 产品 下 一 次 发 布 的 时 间 。 
如 果 产 品质 量 很 高 ， 因 为 不 会 有 缺陷 阻碍 测试 ， 可 以 执行 更 多 的 测试 用 例 。 同 样 ， 因 为 缺陷 
很 少 ， 用 来 进行 文件 归档 、 再 加 工 和 分 析 缺 陷 所 需 的 投入 就 可 以 最 小 化 。 因 此 ， 每 100 小 时 的 
测试 用 例 执行 数 有 助 于 跟踪 生产 力 ， 同 时 判断 产品 质量 。 每 100 小 时 的 测试 用 例 执 行 数 使 用 下 
面 的 公式 计算 : 


每 100 小 时 测试 用 例 执 行 数 = (一 段 时 期 内 所 执行 测试 用 例 总 数 / 花 沉 的 时 间 ) x 100 


17.6.3 每 100 小 时 的 测试 开发 测试 用 例 数 


手动 执行 的 测试 用 例 和 自动 化 的 测试 用 例 都 需要 估算 和 追踪 生产 率 。 对 于 产品 场景 ， 并 
不 是 每 个 版 本 的 所 有 测试 用 例 都 重新 编写 。 根 据 软件 的 新 功能 和 以 前 没有 测试 过 的 功能 添加 
新 的 测试 用 例 。 修 改 已 有 的 测试 用 例 反映 了 产品 的 变化 。 如 果 测 试用 例 不 再 使 用 ， 或 与 之 相 
关 的 功能 从 产品 中 移 除 ， 那 么 这 些 测 试用 例 也 删除 。 因 此 ， 测 试用 例 开 发 的 公式 使 用 与 增加 、 
修改 及 删除 测试 用 例 有 关 的 统计 。 


每 100 小 时 测试 开发 的 测试 用 例 数 = (一 定时 期 内 开发 的 测试 用 例 总 数 / 
在 测试 用 例 开发 中 花费 的 时 间 ) x 100 
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17.6.4 每 100 个 测试 用 例 发 现 的 缺陷 数 


由 于 测试 的 目标 是 找 出 尽 可 能 多 的 缺陷 ， 所 以 有 必要 度量 测试 中 的 “缺陷 产量 *"， 即 测试 
中 发 现 了 多 少 缺 陷 。 这 有 两 个 参数 : 一 是 发 现 缺陷 的 测试 有 效 性 ， 二 是 选择 测试 用 例 发 现 缺 
陷 的 有 效 性 。 测试 用 例 发 现 缺 陷 的 能 力 取 决 于 测试 用 例 的 设计 和 开发 。 但 是 在 典型 产品 开发 
生命 周期 ， 不 是 每 轮 测 试 都 能 执行 所 有 的 测试 用 例 。 因 此 ， 最 好 选择 能 够 发 现 缺 陷 的 测试 用 
例 。 对 这 两 个 参数 进行 量化 的 度量 是 每 100 个 测试 用 例 发现 的 缺陷 数 。 但 影响 该 指标 的 另 一 参 
数 是 产品 质量 。 如 果 产 品质 量 低劣 ， 每 100 个 测试 用 例 中 就 会 产生 比 优 质 产品 更 多 的 缺陷 。 用 
于 计算 该 指标 的 公式 是 : 

每 100 个 测试 用 例 发 现 的 缺陷 数 = (一 定时 期 发 现 的 缺陷 总 数 / 
同时 期 执行 的 测试 用 例 总 数 ) x 100 


17.6.5 每 100 个 失败 的 测试 用 例 缺 陷 数 


每 100 个 失败 的 测试 用 例 中 的 缺陷 数 是 找 出 测试 用 例 粒度 度量 的 好 办 法 。 它 表明 ， 
1. 缺陷 修复 时 需要 执行 多 少 个 测试 用 例 ， 
2. 需要 修复 什么 样 的 缺陷 ， 以 便 通过 的 测试 用 例 数 达到 可 接受 的 数量 ， 
3. 在 分 析 产 品 发 布 就 绪 程 度 时 ， 测 试用 例 的 失败 率 和 缺陷 如 何 相 互 影响 。 
每 100 个 失败 的 测试 用 例 的 缺陷 数 = (一 段 时 期 发 现 的 缺陷 总 数 / 
因为 这 些 缺 陷 导 致 测试 用 例 失 败 的 总 数 ) x 100 
在 本 节 中 所 讨论 的 所 有 生产 力 指标 除 每 100 个 小 时 测试 的 发 现 缺 陷 数 之 外 ， 在 图 17-18 中 
与 使 用 的 样本 数据 一 起 给 








一 让 100 相 本 执行 的 测 这 用 例 | 每 100 夏 时 开发 的 测试 用 例 数 
一 个 100 伙 台 江 用 例 必 贡 的 克隆 一 每 100 个 失败 的 测试 用 俩 发 现 的 缺陷 数 





图 17-18 生产 力 指 标 





从 图 17-18 可 以 观察 到 下 列 现象 : 
1. 每 100 个 测试 用 例 中 发 现 的 缺陷 数量 有 下 降 趋势 ， 表 明 产 品 发 布 准备 就 绪 。 
2. 每 100 小 时 执行 测试 用 例 数 的 上 升 趋势 表明 产品 生产 力 和 产品 质量 的 提高 (第 3 周 数据 
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需要 分 析 )。 
3. 每 100 小 时 开发 的 测试 用 例 数 稍 有 上 升 ， 表 明生 产 力 的 提高 (第 3 周 数据 需要 分 析 )。 
4. 每 100 个 失败 的 测试 用 例 缺 陷 数 在 80~90 之 间 ， 说 明 当 缺陷 修复 时 ， 相 同 数量 的 测试 用 
例 需 要 校 验 。 这 同时 表明 当 缺 陷 修复 后 ， 测 试用 例 通 过 率 会 得 到 提高 。 


17.6.6 测试 阶段 有 效 性 


第 1 章 已 经 讨论 过 ， 测 试 并 不 仅 是 测试 人 员 个 人 的 工作 。 开 发 人 员 执行 单元 测试 ， 可 能 有 
多 个 测试 团队 一 起 完成 部 件 、 集 成 和 系统 测试 阶段 。 测 试 的 思想 是 在 开发 生存 周期 和 测试 的 
早 些 阶段 发 现 缺陷 。 由 于 测试 是 由 不 同 团队 执行 的 ， 目 标 是 在 不 同 的 阶段 早期 发 现 缺陷 ， 因 
此 在 测试 的 各 个 阶段 都 需要 指标 来 比较 所 发 现 的 缺陷 ， 例 如 单元 测试 (UT)、 组 件 测试 (CT)、 
集成 测试 (IT) 和 系统 测试 (ST) 都 要 画 出 图 表 进 行 分 析 。 上 有 具体 见 图 17-19。 


ST 





UT 
39% 





























图 17-19 测试 阶段 有 效 性 


图 17-19 给 出 了 每 个 测试 阶段 发 现 的 缺陷 总 数 ， 从 中 可 以 观察 到 : 

1. 测试 的 早期 阶段 (单元 测试 和 组 件 测 试 ) 发 现 很 大 比例 的 缺陷 。 

2. 产品 质量 随 着 测试 阶段 的 深入 而 提高 (后 面 的 测试 阶段 (集成 测试 和 系统 测试 ) 里 显 
示 所 发 现 的 缺陷 所 占 比重 较 低 )。 

延伸 这 些 数据 ， 可 以 得 到 项 目 发 布 后 的 缺陷 。 组 件 测 试 发 现 的 缺陷 占 32%， 集 成 测试 发 
现 的 缺陷 占 17%。 缺 陷 数 大 约 减少 了 45%。 同 样 地 ， 从 集成 测试 阶段 到 系统 测试 阶段 ， 缺 陷 数 
量 大 约 减少 了 35%， 现 在 假定 产品 发 布 后 缺陷 数 减少 了 35%， 占 了 缺陷 总 数 的 7.5%。 保 守 的 
估计 表明 接近 产品 缺陷 总 数 的 7.5% 是 由 用 户 发 现 的 。 这 也 许 不 是 个 准确 的 估 值 ， 但 可 用 于 培 
训 后 续 支持 活动 的 策划 和 配备 人 员 。 


17.6.7 已 关闭 缺陷 的 分 布 


测试 的 目的 不 仅 是 发 现 缺陷 。 测 试 团 队 也 要 确保 测试 发 现 的 所 有 缺陷 得 到 修复 ， 以 便 用 
户 从 测试 中 受益 ， 同 时 产品 的 质量 得 到 提高 。 为 确保 大 多 数 缺 陷 都 到 修复 ， 测 试 团队 需要 追 
踪 缺 陷 并 分 析 这 些 缺 陷 是 怎样 关闭 的 。 已 关闭 缺陷 的 分 布 有 助 于 这 种 分 析 ， 如 图 17-20 
所 示 。 
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下 一 次 发 布 


不 修改 
32% 











按 设计 需求 


7% 不 可 重 现 19% 


l11% 
图 17-20 已 关闭 缺陷 的 分 布 


从 图 17-20 中 可 以 观察 到 : 

1. 在 测试 团队 发 现 的 产品 缺陷 中 ， 只 有 28% 得 到 了 修复 。 这 表明 产品 质量 在 发 布 前 需要 
改进 。 

2. 归档 的 缺陷 中 有 19% 是 重复 出 现 的 。 这 表明 测试 团队 需要 在 新 缺陷 归档 前 对 于 现 有 的 
缺陷 文档 更 新 。 

3. 不 可 重 现 的 缺陷 总 数 达 到 11%。 这 说 明 产 品 残留 随机 缺陷 ， 或 缺陷 没有 对 应 可 重新 执 
行 的 测试 用 例 。 这 个 领域 需要 进一步 分 析 。 

4. 接近 40% 的 缺陷 会 由 于 “按照 设计 ”、“ 不 能 修复 ”和 “下 次 发 布 ” 等 原因 不 能 修复 。 
这 些 缺 陷 可 能 会 给 客户 带 来 影响 。 这 需要 进一步 讨论 ， 同 时 需要 修复 缺陷 以 提高 发 布 产品 的 
质量 。 


17.7 发 布 指标 


本 章 讨论 了 多 种 指标 以 及 如 何 用 来 决定 产品 是 否 可 以 发 布 。 产 品 发 布 的 决定 需要 考虑 多 
个 方面 和 多 种 指标 。 前 面 讨论 的 所 有 指标 在 做 产品 发 布 决定 时 都 要 综合 考虑 。 本 节 的 目的 是 
提供 一 些 指 导 原 则 以 便于 做 出 决定 。 这 些 只 是 些 指导 原则 ， 而 确切 的 数目 和 判断 准则 的 性 质 
会 随 着 产品 的 不 同 、 发 布 版 本 的 不 同 、 公 司 的 不 同 而 不 同 。 表 17-5 提 供 为 产品 发 布 分 析 列 出 
的 一 些 视点 和 样本 指南 。 


表 17-5 为 产品 发 布 分 析 列 出 的 一 些 视点 和 样本 指南 











指 标 指 南 
执行 测试 用 例 执行 率 % 。100% 地 执行 所 有 测试 用 例 
通过 率 % 。 测 试用 例 通过 率 最 低 应 为 98% 
投入 分 布 。 需 求 、 设 计 和 测试 阶段 各 投入 15%~20% 
缺陷 发 现 率 。 缺 陷 出 现 趋势 显示 为 “ 钟 形 曲线 ” 
。 上 周 缺 陷 发 生 数 接近 于 0 
缺陷 修复 率 。 缺 陷 修 复 趋势 与 出 现 趋势 相 匹 配 





未 解决 缺陷 趋势 未 解决 缺陷 。 未 解决 缺陷 趋势 显示 “向 下 ”趋势 
。 临近 发 布 前 几 周 未 解决 缺陷 接近 0 

高 优先 级 未 解决 缺陷 趋势 高 优先 级 缺陷 。 临近 发 布 前 几 周 高 优先 级 缺陷 接近 0 
权重 缺陷 趋势 高 优先 级 缺陷 和 大 量 的 低 优先 级 。 权重 缺陷 趋势 显示 为 “ 钟 形 曲 线 ” 
缺陷 。 临近 发 布 前 几 周 权重 缺陷 接近 于 0 
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指 标 要 考虑 的 方面 指 南 


缺陷 密度 和 缺陷 清除 率 每 千 行 代码 缺陷 数 。 每 千 行 代 码 缺 陷 数 小 于 7 

缺陷 清除 率 。 每 千 行 代码 缺陷 数 小 于 上 次 产品 发 布 
。 缺陷 清除 率 在 50% 以 上 

缺陷 清除 率 高 于 上 次 产品 发 布 


未 解决 缺陷 寿命 分 析 。 缺 陷 寿 命 显示 “向 下 ”趋势 


引入 和 重新 开放 缺陷 缺陷 修复 的 质量 。 未 解决 缺陷 的 数目 和 重新 开放 的 缺陷 数目 
都 显示 向 下 的 趋势 
相同 缺陷 再 次 重 现 。 引入 和 重新 开放 缺陷 小 于 缺陷 出 现 率 的 5%% 


每 100 小 时 测试 的 缺陷 数 缺陷 出 现 与 投入 的 比例 是 否 合适 。 每 100 小 时 测试 的 缺陷 数 应 小 于 5 
。 每 100 小 时 测试 的 缺陷 趋势 显示 向 下 趋势 
。 测 试用 例 执行 显示 向 上 趋势 






四 


每 100 小 时 执行 测试 用 例 数 | ”产品 的 质量 提升 是 否 允 许 更 多 的 
测试 用 例 执行 
测试 用 例 执 行 与 投入 比例 是 否 合适 
测试 阶段 有 效 性 测试 的 每 个 阶段 发 现 的 缺陷 数 。 在 系统 及 确认 测试 阶段 发 现 的 缺陷 比重 很 
低 (比如 说 小 于 12%) 
"缺陷 分 布 与 下 一 测试 阶段 相 比 ， 缺 陷 发 生 
率 减少 
。 理想 状态 是 单元 测试 占 50%， 组 件 测 试 占 
30%， 集 成 测试 占 15%， 系 统 测试 占 5% 
已 关闭 的 缺陷 分 布 测试 发 现 的 缺陷 已 修改 的 比例 是 。 至 少 70% 关 闭 的 缺陷 被 修复 
否 很 高 。 不 可 重 现 缺 陷 小 于 5% 
。 转 移 到 下 次 产品 发 布 的 缺陷 应 小 于 10% 









17.8 小 结 


本 章 定义 的 指标 提供 了 不 同 的 视角 并 互相 补充 。 因 此 ， 所 有 指标 不 能 孤立 地 对 待 ， 必 须 
综合 分 析 。 而 且 ， 不 是 所 有 的 指标 在 所 有 情况 下 都 是 一 样 重要 的 。 

管理 层 的 承诺 和 促进 捕获 分 析 缺 陷 的 文化 是 公司 指标 程序 成 功 的 重要 方面 。 有 一 种 观念 : 
只 要 公司 有 丰富 的 项 目 管理 经 验 ， 那 么 就 不 需要 指标 。 有 人 会 听 到 类 似 的 话 :“ 我 相信 我 的 直 
觉 ， 我 为 什么 需要 指标 ? ”关键 是 除了 确认 直觉 ， 指 标 还 提供 了 许多 新 视点 ， 甚 至 有 经 验 的 
项 目 经 理 也 很 难看 到 这 些 新 视点 。 还 有 其 他 一 些 有 关 指 标的 习惯 看 法 ， 只 有 指标 成 为 公司 的 
习惯 和 文化 的 一 部 分 才能 纠正 这 些 看 法 。 

指标 不 仅 用 来 改进 过 程 和 管理 项 目 ， 而 且 可 以 估计 并 提高 产品 质量 。 指 标 和 为 了 生成 指 
标 所 采集 的 生产 力 数 据 决 不 能 用 来 衡量 团队 或 困 队 中 个 人 的 工作 能 力 。 这 违背 了 指标 的 目的 
和 本 意 。 

如 果 公 司 的 员工 不 能 够 一 致 地 理解 指标 的 目的 和 意图 ， 那 么 就 不 能 得 到 真实 、 准 确 、 实 
际 可 行 的 数据 。 对 这 种 错误 数据 的 分 析 会 产生 误导 。 即 使 数据 是 正确 的 ， 人 们 为 了 使 其 符合 
自己 的 看 法 和 需要 也 会 将 其 扭曲 。 

生成 指标 和 制作 图 表 只 是 指标 程序 工作 的 一 部 分 。 分 析 指 标 、 跟 踪 项 目 行动 直到 结束 是 
耗 时 又 很 困难 的 活动 。 指 标 已 生成 ， 如 果 有 忽视 指标 结果 的 倾向 ， 团 队 成 员 依照 所 谓 的 直觉 
发 布 产品 ， 那 么 有 指标 和 没有 指标 没有 什么 不 同 。 

自动 收集 数据 和 自动 制作 图 表 可 以 减少 在 指标 上 的 投入 。 然 而 ， 指 标的 分 析 和 付 诸 行动 
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依然 要 人 工 完成 ， 因 为 分 析 需 要 人 类 的 智慧 与 投入 。 组 织 安排 合适 的 人 去 分 析 指 标的 结果 ， 
并 确保 各 项 活动 及 时 地 进行 ， 这 些 有 助 于 巩固 指标 程序 的 可 信 度 并 提高 组 织 中 指标 的 有 效 性 。 


问题 与 练习 


1. 投入 与 计划 的 区 别 是 什么 ? 

2. 指标 程序 包含 哪些 步骤 ? 简要 解释 每 一 步骤 。 

3. 在 产品 开发 和 测试 中 使 用 指标 有 什么 重要 益处 ? 

4. 如 果 在 投入 和 计划 上 有 负 偏差 ， 这 意味 着 什么 ? 

5. 画 出 权重 缺陷 的 附加 价值 是 什么 ?和 缺陷 分 类 趋势 相 比 ， 权 重 缺 陷 以 何 种 方式 提供 额外 的 
视角 ? 

. 请 列举 并 讨论 可 以 用 作 和 缺陷 预防 的 指标 ， 怎 样 预防 ? 

. 如 何 计算 缺陷 密度 和 缺陷 清除 率 ? 为 了 得 到 好 的 产品 质量 ， 请 讨论 提高 这 些 比 率 的 方法 。 

. 进行 产品 发 布 时 ， 要 考虑 的 视角 和 质量 因素 是 什么 ? 请 以 指标 的 形式 ， 解 释 几 个 关于 如 何 
画 出 和 分 析 质 量 因素 的 指导 原则 。 
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